僧人、道士總給人不食人間煙火的感覺，因此有「方外之士」、「方外之人」之稱。

「方外」一詞，意涵甚多。一般泛指區域、範圍之外，或指中國之外、邊遠地區。《史記‧三王世家》：「遠方殊俗，重譯而朝，澤及方外。」在《魏書‧程駿傳》中則曰：「今天下雖謐，方外猶虞。」

「方外」做為世外的用法，最早見《莊子‧大宗師》：「彼遊方之外者也。」指的就是言行超脫於世俗禮法之外。《世說新語》中載：阮步兵喪母，裴令公往弔之。阮方醉，散髮坐床，箕踞不哭。裴至，下席於地，哭弔唁畢便去。或問裴：「凡弔，主人哭，客乃為禮。阮既不哭，君何為哭？」裴曰：「阮方外之人，故不崇禮制。我輩俗中人，故以儀軌自居。」

《北史‧王晞傳》亦載：（王晞）性閑澹寡欲，雖王事鞅掌，而雅操不移。在并州，雖戎馬填閭，未嘗以世務為累。良辰美景，嘯詠遨遊，登臨山水，以談宴為事，人士謂之「方外司馬」。

「方外」進一步藉指仙境或僧道的生活環境，則見《楚辭‧遠游》：「覽方外之荒忽兮，沛罔象而自浮。」方外之士成為僧道代稱的最早用法，出自《宋史‧隱逸傳》：陳搏於後唐長興中，舉進士不第，不求祿仕，以山水為樂珥珥太平興國中來朝，太宗待之甚厚。九年復來朝，上益加禮重，謂宰相宋琪等曰：「搏獨善其身，不幹勢利，所謂方外之士也。」

相傳唐朝詩人顧況，也有一段得道成仙的故事。《尚書故實》：顧況志尚疏逸，近於方外，有時宰曾招致，將以好官命之。況以詩答曰：「四海如今已太平，相公何用喚狂生。此身還似籠中鶴，東望滄洲叫一聲。」後吳中皆言況得道解化去。

民間以「超出三界外，不在五行中」比喻修行人超凡脫俗，不受世俗的染汙和拘束。用五行代稱五蘊，其實三界、五蘊均為佛門用語，五蘊指色蘊、受蘊、想蘊、行蘊、識蘊，乃佛教對三界（欲界、色界、無色界）眾生活動現象的說明。真正的佛教修行，並非脫離人間，因為「離世求菩提，猶如覓兔角」，應該如《維摩詰經》所說：「欲得淨土，當淨其心；隨其心淨，則佛土淨。」正所謂「何用別尋方外去？人間亦自有丹邱。」