歇後語起源於唐詩的一種「歇後體」，為唐人鄭綮所創。《舊唐書‧鄭綮列傳》有載：鄭綮擅寫詩，詩裡總帶「刺」，詩的樣式也有些怪，當時被人們稱為「鄭五歇後體」。

這種怪詩體廣為流傳，以至連唐昭宗也經常聽到臣子的吟誦。這些詩有很多是諷刺時弊的，但唐昭宗倒覺得詩中大有「蘊蓄」，還因此親筆批「鄭綮可禮都侍郎平章事」。

後來，鄭綮真的當了宰相。不過，他當了官以後就寡言少語，更不寫什麼帶刺的歇後詩了，但「歇後體」卻從此流傳開來。

有一種說法認為，當時針貶時弊比較隱晦，後半句常常省了，也就是歇了。現代流傳的歇後語大都分為兩部分，前面是引言，真實的寓意在後面。