漢朝辛延年有一首樂府詩〈羽林郎〉，詩云：「昔有霍家奴，姓馮名子都，依倚將軍勢，調笑酒家胡。胡姬年十五，春日獨當壚。長裾連理帶，廣袖合歡襦。頭上藍田玉，耳後大秦珠。兩鬢何窈窕？一世良所無；一鬟五百萬，兩鬟千萬餘。不意金吾子，娉婷過我廬。銀鞍何煜爚，翠蓋空踟躕。就我求清酒，絲繩提玉壼；就我求珍肴，金盤鱠鯉魚。貽我青銅鏡，結我紅羅裾。不惜紅羅裂，何論輕賤軀？男兒愛後婦，女子重前夫。人生有新故，貴踐不相踰。多謝金吾子，私愛徒區區。」

漢武帝劉徹曾在姐姐平陽公主的晚宴上，看上了一名歌姬，這位大美人後來成為漢武帝最鍾愛的皇后之一；也就是歷史上出名的美女皇后衛子夫。

衛子夫出身比較卑賤，歷史上記載其母親為「衛媼」，即衛老太婆之意，連個正式姓名都沒有。

衛媼可能沒有正式的婚姻，所以子女都從母姓。女兒因為可以賣錢，所以留在身邊，像衛子夫長大後就成為平陽公主府上的歌姬。至於兒子則推給可能的生父去撫養，她的兒子衛青在可能的生父家中，受到鞭打虐待，被當成奴僕一樣使喚，沒有受到良好的教育。但衛青從事雜役、牧馬等工作時，與匈奴族人常有往來，對於匈奴人的習性有一定的了解。這段經歷，也許是衛青日後對匈奴爭戰的一大本錢。

後來衛青靠著姐姐衛子夫皇后的裙帶關係成為皇宮的侍衛，受到漢武帝的賞識。在漢朝與匈奴的爭戰中，衛青領兵屢破匈奴，成為握有實權的大將軍。但衛青的出身卑賤，可能帶有很深的自卑感，極少拋頭露面的干預朝政，但沉默的他反而變成漢武帝時代最舉足輕重的人物，堪稱是漢朝最有權勢卻最低調的外戚。

平陽公主在駙馬往生，成為寡婦之後，想要再嫁。以皇姐之尊要找個門當戶對的對象可不容易，到了最後，居然只能嫁給當年府上的小奴，當朝的大將軍衛青。以至於衛青和漢武帝劉徹，彼此都要叫對方一聲姐夫了。

衛子夫還有一個姐姐叫衛少兒，原本嫁給商人霍仲孺。衛子夫當了皇后之後，覺得商人地位太卑下，請皇帝作主把衛少兒改嫁給官員陳掌。衛少兒與前夫霍仲孺已生了一個兒子，名霍去病，霍去病是繼衛青之後討伐匈奴的一員大將，可惜他英年早逝，在政壇上沒有更大的發展。

霍仲孺「被離婚」之後，續弦又生了一個兒子，這個霍去病同父異母的弟弟，就是霍光。

雖然霍光和衛子夫皇后之間，沒有真實的血緣關係，但他卻是在漢朝著名的外戚政治中，承襲了衛皇后的裙帶系統。

漢武帝劉徹死後，劉弗繼位，是為漢昭帝。武帝認為霍光為人有才幹而且謹慎謙退，出身又太差，沒有侵奪帝權之虞，所以立霍光為顧命大臣。

昭帝死後無嗣，在霍光主導下，由流落民間的皇裔劉詢繼位，是為「漢宣帝」。劉詢在民間已經娶妻，這位糟糠之妻就是許皇后。

霍光這個人本身真的很不錯，漢武帝並沒有看走眼，但萬萬沒有想到的是，霍光有一個張狂自大的老婆。

霍光夫人史不載其姓，僅知名顯，故稱「霍顯」。霍顯認為劉詢是因霍光的擁立，才能從一介落魄王孫一躍而成當朝天子，因此自己簡直比皇太后還要偉大！事實上，當朝皇太后，即漢昭帝的皇后，真的要叫霍光一聲叔公、稱霍顯一聲嬸婆。

而在霍顯的強力運作下，漢宣帝還娶了霍光的女兒霍成君。如此一來，原本要叫霍成君一聲姑媽的當朝皇太后，反而成了霍成君的婆婆。

事後，霍顯為了要讓霍成君變成皇后，買通御醫淳于衍於許皇后生產時毒殺之。

因許皇后死因可疑，霍光等大臣主持調查，這時霍顯才對老公自白，說這件事是她幹的。霍光見事情已經無法挽回，只好包庇妻子的惡行。霍家的子弟，看到霍顯這樣做了都沒事，於是乎也有樣學樣，無所不為，親信子弟遍布朝中，行逕到了令人髮指的地步。

卷首辛延年的古詩〈羽林郎〉，描寫「霍家奴」的行徑已是如此浪費張狂，由此推知「霍家人」的所作所為當更為不堪了。但辛延年這首詩並非在指控霍家，他是東漢的詩人，乃借西漢霍家的故事諷刺當時惡劣的外戚集團竇家。