南宋中期江湖派詩人葉紹翁，一生寫下了許多描寫田園風光及農家生活的詩作，如刻畫江南水鄉景色的〈嘉興界〉、描繪鄉野情趣的〈田家三詠〉、摹狀兒童玩耍的〈夜書所見〉等，平易含蓄，詞淡意遠。但最為人稱道並流傳後世的唯有七絕〈遊園不值〉尤其是那句「春色滿園關不住，一枝紅杏出牆來」，已經成為千古傳誦的經典佳構。

就像宋祁的「紅杏枝頭春意鬧」一樣，葉紹翁的「一枝紅杏出牆來」本意是寫大好春光的，雖然其中隱喻哲理，但絕無曖昧情愫。不知是從何時起，「紅杏出牆」成了女子外遇的代名詞，以至於連外國文學和影視作品的譯名也因襲此例。如，根據左拉小說《苔麗絲‧拉甘》改編的電影，譯名也叫《紅杏出牆》。

據說，「紅杏出牆」引申意的最早出處是宋代話本《西山一窟鬼》，其中有「如撚青梅窺少俊，似騎紅杏出牆頭」的唱詞。元代以後，「紅杏出牆」的含義就愈加鮮明了，如「恰便似一枝紅杏出牆頭，不能夠折入手，空教人風雨替花羞。」

　　

到了近代，隨著社會的開放，「紅杏出牆」廣泛變成為嘲謔的借代詞，用來記述風流韻事，影射閨閣緋聞。

有趣的是，還有一則「紅棗出牆」的掌故，卻很少有人知曉。《漢書‧王吉傳》中即記載此一軼聞，大意是：

王吉年輕時住在長安，東鄰有棵大棗樹，枝椏越過牆頭垂掛到王吉庭院中。妻子就摘了幾顆紅棗給他吃，後來王吉知道棗子是鄰居家的，就認為妻子手腳不乾淨，硬是把她給休了。

東鄰得知因自家「紅棗出牆」而導致王吉家庭破裂，就準備把那棵棗樹砍掉，經過左鄰右舍的勸止和調解，王吉才把妻子請了回來，那棵棗樹也保住了。

這個王吉年輕時曾被舉為孝廉，後來官至博士、諫大夫。在苛求婦道的封建社會裡，這段故事有讚揚王吉「寧可休妻也不失德」的意思，而在如今看來，確實有點小題大做了。儘管這棗子的所有權在鄰家，鄰家探過牆來的棗子也不該輕取，但還不至於到了不可饒恕的地步。為了顯示自己人品高尚而休妻，也太矯情了。所幸王吉聽了眾人的話，終於平息了這場禍端。

從故事情節來看，王吉的妻子對他是充滿感情的，否則也不會摘取逾牆的紅棗給他吃。如果不是眾人勸解，一片好心的王妻反被逐出家門，豈不冤哉？