遊台北陽明山，多半是由仰德大道循序而上，過了華興中學之後，進入仰德大道二段，道路左側有一建築物是白色的牆搭配藍色琉璃瓦，門口寫著「林語堂故居」，那是林語堂先生生前最後十年定居台灣的居所。大師曾如此形容他親手設計的宅院：「宅中有園，園中有屋，屋中有院，院中有樹，樹上見天，天上有月。不亦快哉！」

大師在一九七六年三月二十六日病逝香港，享年八十二歲，同年四月便移靈回此處，長眠於故居後園。

台北市政府為紀念林語堂先生在文學上的偉大成就，於獲得林夫人廖翠鳳女士捐贈大師的藏書、著作、手稿及遺物後，在大師舊居，成立「林語堂先生紀念圖書館」，一九八五年五月正式對外開放，二○○二年易名為「林語堂故居」。

大師最疼愛的女兒林太乙如此形容大師故居：「房屋是父親自己設計的，沿著大道有一堵白色的圍牆，中間有一扇紅色的大門，踱過精緻的小花園，穿過雕花的鐵門，是一個小院子，周圍有螺旋圓柱，頂著迴廊。院子中有樹，有一個小魚池，右邊是書房，左邊是臥室，中間是客廳飯廳，陽台面對綠色的山景。房屋下是斜坡，走下去便是草地，種菜種花養雞。」

大師在如此優美舒適環境完成了《無所不談合集》及《林語堂當代漢英辭典》，該辭典可說是其後半生精力的結晶。

「有不為齋」原是大師家餐廳及客廳，如今開放為啖飯啜茗的空間；另有閱覽室，以及可遠眺觀音山景，俯瞰天母、北投的露天攬景平台；特展區則有大師生前研發的「中文明快打字機」、「自來牙刷」、「自動打橋牌機」等模型。

建構兩層的林語堂故居，將四合院架構與西式設計結合，這正是他生前最驕傲的——「兩腳踏中西文化」最佳展示。