跟據記載，北宋仁宗慶曆八年（西元一○四八年），大文豪歐陽脩時任揚州太守，在揚州城西北五里的大明寺附近，修建了平山堂。堂建於高崗上，由堂中遠眺，遠山剛好與欄杆齊，因此就把堂取名為「平山」。

平山堂建成之後，歐陽脩時常和友人，在這堂中賞景、飲酒、賦詩。過了一段非常愉快的日子。

由於歐陽脩在楊州太守任內，勤政愛民、政績斐然。因此在他離開楊州後，當地人為了記念他，於是把歐陽脩在堂前種植的柳樹命名為「歐公柳」。

歐陽脩離開揚州幾年後，他的朋友劉原甫也被任命為揚州太守。歐陽脩懷念起了在揚州的那段美好的日子，因此填了〈平山堂〉調寄〈朝中措〉一闋詞送給了他：

平山欄檻倚晴空，山色有無中。 手種堂前垂柳樹，別來幾度春風？ 文章太守，揮毫萬字，一飲千鐘。 行樂直須年少，尊前看取衰翁。

這闋詞的前半段是對平山堂的懷念；後半段則奉勸這位即將上任的揚州太守，像這種「揮毫萬字」、及「一飲千鐘」的情懷，必須趁著年少行之，否則像我這樣的老翁，是不再有當年「文章太守」的體力與豪情了。

西元一○五七年，宋仁宗嘉祐二年，歐陽脩擔任進士主考官，由於非常賞識當時的一位考生蘇軾，並對他人說：「老夫亦須放他出一頭地。」因此不僅錄取了蘇東坡，並且在以後不次拔擢。當時東坡僅二十一歲。過了十五年，西元一○七二年，歐陽脩在穎州過世。

西元一○七九年宋神宗元豐二年，蘇東坡從徐州調任湖州（今浙江吳興）地方官，路過揚州，再度來到平山堂。其實之前蘇軾已曾經兩度造訪，但這次恩師已經過世，為了對恩師的悼念，因此第三次來到了平山堂。看到牆壁上，歐陽脩的墨跡仍然龍飛鳳舞般的生動靈活，不禁更深深懷念起恩師，因此寫下〈平山堂〉調寄〈西江月〉的詞來紀念平山堂與歐陽脩：

三過平山堂下，半生彈指聲中。十年不見老仙翁，壁上龍蛇飛動。

欲弔文章太守，仍歌楊柳春風。休言萬事轉頭空，未轉頭時是夢。

詞意是這樣的：

這是我第三次拜訪平山堂，想到自己的半生就這麼在彈指聲中一下就過了！而已經十年不見的老仙翁，雖然已不在人間，但是存留在這平山堂牆壁上的字，卻仍然像龍蛇一樣的靈活生動。揚州人士都是以歌頌他手植的楊柳來憑弔這位文章太守，睹物思人，別說人一過世一切都成空，縱使還活著的我們，其實也只是在一場夢中罷了！

蘇東坡在湖州地方官任內，又被陷害，首先被捕入監，後因宋神宗祖母的說項，轉貶至黃州任團練副使。

在黃州期間，他的一個朋友張偓佺（即張夢得），在長江邊上建了一座亭子，完工後請東坡為亭子命名。於是蘇東坡寫了一闋詞〈黃州快哉亭贈張偓佺〉，調寄〈水調歌頭〉，將亭子命名為「快哉亭」：

落日繡簾卷，亭下水連空。知君為我，新作窗戶濕青紅。長記平山堂上，欹枕江南煙雨，渺渺沒孤鴻。認得醉翁語，山色有無中。

一千頃，都鏡淨，倒碧峰。忽然浪起，掀舞一葉白頭翁。堪笑蘭台公子，未解莊生天籟，剛道有雌雄。一點浩然氣，千里快哉風。

詞中再一次提到平山堂，說他永遠記得在平山堂斜躺著，看到，遙遠的地方一隻孤單的鴻鳥隱沒在煙雨迷濛的江南景色之中，這不正是醉翁（歐陽脩自號醉翁）在他〈平山堂〉調寄〈朝中措〉這闋詞裡所描述的「山色有無中」的意境嗎？