西元八二四至八三三年，日本弘法大師到大唐修學佛法，歸國時攜帶了一批牡丹。後為供奉十一面觀世音菩薩像而興建奈良長穀寺，而中國傳入東瀛的第一批牡丹，就種在長穀寺中。

東京西新井大師總持寺和長穀寺一樣，都是屬於真言宗豐山派，歷史悠久，寺內也遍植牡丹，是日本的牡丹名所之一，寺內共有五個牡丹園，種了七十種四千五百株。此寺的牡丹名種，有太陽、島大臣、鎌田藤、連鶴、楊貴妃、島錦、日月錦、天衣、初烏、八千代椿、花王、花競等等。兩寺的牡丹齊名，故有「關西長穀寺，關東西新井」的說法。

牡丹當年傳入日本，是因丹皮的藥用價值，日後逐漸發展為觀賞性花卉。到了江戶時代，日本人種植牡丹之風愈盛，品種已有五百種之多。到了現代，牡丹更進而成為日本的代表花卉之一，不時出現在文學藝術中。

日本諾貝爾獎作家川端康成在他的〈日本之美和我〉一文中提及：「十六世紀的茶道與花道大師千利休說，插花不能用盛開的花，即使至今的日本茶道中，一般都是在茶室壁龕上插一朵花，而且是含苞欲放的花……五月是舉行茶道的最好時間，要在青瓷花瓶裡插牡丹花，而且需是帶著露珠的苞蕾，不僅要在花上滴水，而且要經常保持花瓶的濕潤。」

如今，日本人形容美女時總愛說「立如芍藥，坐如牡丹，行走如百合。」亦即說站立時如芍藥般柔美，坐姿如牡丹般豐艷，行走時則如百合般優雅。