五代王定保《唐摭言》卷十一記賈島羈旅長安，騎驢吟詠，忽見秋風狂掃黃葉而靈光乍現，脫口吟出「落葉滿長安」，但其對句卻苦思不得，竟不覺唐突京兆尹劉棲楚而遭繫。還有一次遇武宗於定水精舍，不慎冒犯龍顏，武宗於是授他一官，謫往四川任長江縣尉。

類似的情節，在後蜀何光遠《鑑戒錄》卷八是說賈島騎驢洛陽，吟得「鳥宿池邊樹，僧敲月下門」，因不辨「敲」或「推」哪字好，在專注凝思中衝撞京兆尹韓愈車隊，韓愈聽聞他的解釋，便為他裁斷：「作敲字佳矣。」後來他寄跡法乾寺，宣宗微服出行，取其詩卷觀覽，賈島攘臂睨奪之，宣宗因而命他為長江主簿。

賈島遭際還真奇特！他的苦吟逸事在晚唐已流傳極廣，安錡〈題賈島墓〉即說：「騎驢衝大尹，奪卷忤宣宗。」但是上述內容，其實大有問題。

賈島有詩〈寄劉棲楚〉，顯然與劉友好，豈會遭繫？莫非剛巧同姓名的兩人都和他有緣？

又史載賈島卒於武宗會昌三年（八四三），他那小小官銜是文宗時已派命，而且武宗素不奉佛，日僧圓仁《入唐求法巡禮行記》卷三曾載會昌元年正月四日「國忌，奉為先皇帝（指文宗），敕於薦福寺令行香，請一千僧。」這也只是援例辦理，隔了三天，圓仁記：「七日，今天子幸太清宮齋。」顯見武宗好道，又豈會無故前往佛寺「定水精舍」，而巧遇賈島？

韓愈於憲宗元和六年（八一一）在洛陽結識賈島，時任河南令，他勸出家為僧，法號無本的賈島還俗應舉；而京兆尹是首都長安的長官，韓愈死前一年（八二三）才轉任此職，他根本不可能到這時才與賈島相識。至於在武宗滅佛後恢復佛教的宣宗，即位時，賈島早去世了！

筆記小說總愛添加想像，以訛傳訛，清代王夫之《薑齋詩話》卷二誤信「推敲」故事，責罵賈島「妄想揣摩，如說他人夢！」事實上從賈島詩題〈題李凝幽居〉，即知他是訪友，「僧敲月下門」的「僧」是賈島自己，他在月升鳥宿時來到隱士李凝的家，叩門而入本人情之常，何來妄想揣摩？又隱者的家門定是柴扉，在靜謐夜晚不論推或敲，都會發出聲響，所以無關哪一字比較響亮比較佳，一切皆依當時情境用字遣詞。

賈島的詩，晚唐有不少追隨者。姚合〈過無可僧院〉云：「月下門方掩，林中寺更遙。」無可是賈島堂弟，同樣出家，姚合則如賈島一般，在月下尋訪故人；齊己〈過陳陶處士舊居〉云：「夜過秋竹寺，醉打老僧門。」這是齊己來到仙逝的陳陶舊居，想起他狂狷不羈，醉酒搥打僧門的行徑。

不論敲門、掩門、打門，其中傳神寫照，何嘗不似王夫之所說：「因情因景，自然靈妙。」