《礼记》曰：“夏后氏尚黑，殷人尚白，
周人尚赤。”秦灭周而尚黑;汉灭秦后，武帝改为尚黄。到了魏晋，天子和群臣要按春、夏、季夏、秋、冬五个时节，依次穿戴青、朱、黄、白、黑五种朝服。
隋唐建立后，正式把服饰的颜色作为区别贵贱尊卑的一种手段。太宗贞观年间规定:皇帝就穿黄色的龙袍，百官中，三品以上服紫，四品五品服绯（深红），六品七品服绿，八品九品服青。以后各朝代均大体沿袭此法。可见，绿色青色排名最
后，在官场上是低贱的代表。在民间，这两种颜色也是象征着低贱的行业。比如元明两代，乐人、娼妓必须着绿服、青服、绿头巾。《元典章》更是规定:娼妓之家长和亲属男子须裹青头巾。
由此，“青头巾”就与娼妓的男性亲属有了联系，后来扩大为指妻子有不贞行为的男人。由于青、绿二色比较接近，又同属贱色，而现在人们也不带头巾，改戴帽子，于是便逐渐演变成称呼妻子不忠于丈夫的行为是给丈夫“戴绿帽子”。
