一九四九年，余彭年離開故鄉，隻身一人闖蕩上海灘。除了拉黃包車外，他還擺過地攤，打各種零工。一九五四年冬，遭遇人生的第一個重大挫折：因為被人誣告，他在上海被捕。

三年勞教屆滿前的兩個月，余彭年獲得平反獲釋。時年三十歲的他，在朋友的幫助下，拋妻棄子，一九五八年經澳門輾轉至香港。

由於他誠實肯幹，得到一位實業家的賞識。上世紀六十年代初，實業家帶他到台灣發展房地產，之後實業家以單獨出資、利潤分享的方式放手讓余彭年自組公司，就此起家。一九六七年，影星李小龍去世，留下一棟豪宅。香港人迷信李小龍的暴斃，沒人敢買。余彭年當機立斷，從銀行貸款七十萬元，加上自己的三十萬元積蓄買下了豪宅，短短八年便靠租金還清了貸款。到一九九六年，這棟房子增值了七十倍。此後他在房地產事業如日中天，不幾年成就了香港知名富豪。

六十年代他身家累積已達數千萬港元，他將所有金錢和物業抵押來買股票，卻遇上一九七三年股災，「頃刻間全都沒有了！」幸好當時他在台灣天母還有一些地產生意，加上在香港的人脈和經商經驗，讓他得以在台港東山再起。

余彭年表示，如果沒有台灣，就沒有今天的他。他表示，他的四十億身家，「台灣也有一份」，無論大陸、台灣、香港，只要那個地方有需要，他都樂意捐款。他說，他也樂意在台灣興建圖書館、紀念館等，「不需要政府出錢，我親自到台灣也可以」。

余彭年在台灣的好友王金如表示，余彭年六十年代曾在台灣擁有多處房地產，都是在台北市的精華地段，近年來逐漸淡出。去年底，余彭年也把李小龍故居捐出，改為李小龍紀念館。