距歐陽脩建平山堂大約一百八、九十年後，南宋理宗時，詞人方岳應該也來過平山堂，因為他和了蘇東坡〈黃州快哉亭贈張偓佺〉，調寄〈水調歌頭〉這闋詞的韻，寫下了這麼一闋〈水調歌頭〉：

「秋雨一何碧，山色倚晴空。江南江北愁思，分付酒螺紅。蘆葉篷舟千里，菰菜蓴羹一夢，無語寄歸鴻。醉眼渺河洛，遺恨夕陽中。

菽洲外，山欲瞑，斂眉峰。人間俯仰陳跡，歎息兩仙翁。不見當時楊柳，只是從前煙雨，磨滅幾英雄。天地一孤嘯，匹馬又西風。」

從詞意裡，我們可以了解到詞人的感慨。北宋已然滅亡，南宋偷安江南，而秋雨是如此的清澈碧綠，「山色倚晴空」，是用了歐陽脩在〈平山堂〉一詞裡的：「平山欄檻倚晴空」；「江南江北愁思」，則指出了由江南望江北的愁思，因為江北已淪陷，是回不了的家鄉了！所以，我們就不難理解「無語寄歸鴻。醉眼渺河洛，遺恨夕陽中」的悲愴了！

除了對現實的狀況感到悲觀，也嘆息時間的飛逝，在一俯一仰的剎那，除了跟從前一樣的煙雨之外，兩位仙翁以及當時歐公所種的楊柳都已不復存在，實在令人感嘆！詞人現在也只能一人一騎，在冷冽的西風裡獨自長嘯，因為這一切都是那麼無奈！

時間飛逝，平山堂建堂後兩百多年。時間來到蒙古人統治中原的元代，高麗（現在的韓國）詞人李齊賢，隨特使團來到中國，經過揚州時特地去看了平山堂。當時的平山堂已為胡僧巴哈師居住，堂內外所有的景物跟蘇軾詞中所描述的樣子已大不相同了！

李齊賢看到平山堂目前的狀況自是十分感慨，因此寫了一闋詞〈揚州平山堂今為巴哈師所居〉調寄〈鷓鴣天〉來敘述感懷：「樂府曾知有此堂，路人猶解說歐陽。堂前楊柳經搖落，壁上龍蛇逸渺茫。雲澹濘，月荒涼，感今懷古欲沾裳。胡僧可是無情物，毳衲蒙頭入睡鄉。」

當然，時在元代，李齊賢遠在高麗，因透過樂府（也就是歐陽脩和蘇東坡的詞）而知道並且嚮往平山堂，因此好不容易來到這裡。路人都還能說出歐陽脩的事蹟，可是堂前歐陽脩所植的歐公柳已經不在了！壁上如龍蛇般的書法也不復見！再看看四周，只見浮雲疾馳、月光下一片荒涼，感今懷古，不禁令人感傷掉淚。而現居住在裡面的胡僧，可完全不知這些，倒是很心安的蒙頭就睡，一副很無情的樣。

後來的平山堂，歷經歲月及戰火的摧殘，逐漸頹毀；明代萬曆年間（一五七三~一六一九年）曾重新脩葺；清代咸豐年間（一八五一~一八六一年），山堂又毀於兵火；到了同治九年（一八七○年），在平山堂原址，即揚州瘦西湖畔蜀崗中峰上，再度重建了平山堂，此時距歐陽脩建堂已事隔八百多年了！

這個重建的平山堂一直保存到現在，人們還把附近的名勝古蹟，包括唐朝的大明寺遺址、西園、天下第五泉、谷林堂及歐陽脩祠等合稱為「平山堂公園」。

現在的平山堂雖然已不是當時歐陽脩所建，卻印證著人們無法忘懷歐陽脩與蘇東坡這兩位偉大的文豪的貢獻，同時也見證了文學在悠悠歲月中綿綿不絕、永不毀朽的影響力量。