自從頻婆娑羅王，在王舍城建造「竹林精舍」後，佛陀的行腳才有了駐錫之所。後來，給孤獨長者、祇陀太子在舍衛城花園中，修建了可容三百人的大室、禪房靜處六十三所等設備，這就是有名的「衹樹給孤獨園」，與竹林精舍，並稱為佛世最初的兩大伽藍。

當時的伽藍只是眾僧集體居止修行的處所，佛陀曾對諸比丘說：「若用居止房舍、床褥、臥具，非為利故，非以貢高故，非為嚴飾故；但為疲倦故，得靜坐故也。」比丘的修行，從早期的樹下住，到住在僧院中，比丘住的方面，仍以維持色身所需，以便修道為原則。

佛教傳入中國之後，在洛陽雍門外所建的白馬寺，是中國第一座僧伽藍。後世沿襲，便將僧人的地方稱為「寺」，又稱「院」。

但禪宗就不同了，如唐百丈懷海禪師創立禪寺的僧居，稱為「叢林」，卻主張不立佛殿。故，寺院最初只有方丈、法堂(法堂住持說法的地方)、僧堂、寮舍等建築，並不設立佛殿，與佛世伽藍的風格最為相近。

北宋以後，禪林規模日趨龐大，僧眾與信眾日漸增多，為接引信眾及應檀信要求作佛事，才開始有佛殿的建立。在明代，最常見的「伽藍七堂」的建築格局，一直沿襲至今。七堂為佛殿、法堂、僧堂、庫房、山門、西淨、浴室。另設藏經樓，便於僧眾研讀經典之用。整個寺院由多層院落組成，形成僧眾獨特的宗教生活區，也形成信眾禮拜遊觀場所、僧俗修道場所及園林、佛塔等集於一體，具中國特色的綜合性佛教設施。現代，因應弘化的需求，也有教學大樓、講堂、教室、圖書館等現代建築。