一個世紀以前，來自廣東梅縣的宋燕貽在竹東開設唯一的「長春醫院」，宋瑞樓是他第四個孩子，跟著二十幾個叔伯的孩子，度過不寂寞的童年。

他個性乖巧，一點也不調皮，若非台籍子弟無法正式的拿到第一名，在小學六年裡，至少可以拿到五個第一。但他並不特別用功，因為傷風感冒而容易疲倦，每天八點就上床睡覺。小學二年級還被堂姊傳染了「二周熱」，病到沒辦法上學，一個月後回到學校，九九乘法及背誦英文字母時都格外吃力。
 
「記憶力既不如人，就想別的辦法來克服。」往後只要遇上背的功課，一定先思考其中的關聯性再背，譬如背地理，他會從山脈想到河流走向再到河口、河港及物產，這特殊記憶法跟了他一輩子，讓他受益無窮。

在那個物資缺乏的年代，即便是醫生家庭，雞蛋也算奢侈品，他常到菜園找蔬果，把黃瓜泡在水裡冰涼，咬來特別香脆。

他其實是抱獨身主義的，大學時就暗暗告訴自己：「以後絕對不要結婚，一來是因為不願生出可能受日本人欺負的孩子，二來是自認體弱多病，遺傳基因不好，不想影響下一代。」

更可能的是，有了家眷後必然因分心而影響病人。可是到了三十歲還打光棍，他自個願意，家人可沒答應，終於由堂姊出面幫他相了親，娶進了中壢醫院眼科名醫吳家的十八歲女兒。「訂婚之後，他每次來我家找我都帶來許多書本和畫冊，好像恨不得在知識上讓我快快長大。」妻子吳芳英說。

不養生、不運動，卻活到九十歲的他充滿感激：「太太才是家中的小太陽，我是月亮，因為我是藉她的光而行，她才是家庭的發光發熱體。」現任國民黨副主席吳伯雄是他的小舅子，來台北念書，有六年時間住在他們家：「住在姊姊家最大的壓力是：當你晚上讀書疲倦了想睡覺時，姊夫書房裡的燈總是亮著││害你想偷懶都不成。」

「其實，瑞樓在生活上極其簡單、樸素」吳芳英描述丈夫：「有什麼就吃什麼，請他吃大餐最浪費了。他就是靜靜的、很快吃完的那種人，好不好吃都一樣。衣著方面更是不經心，衣櫃裡，穿過未洗的掛一邊，完全乾淨的掛另一邊，清清楚楚的。」
　　
他也從來不覺得需要買房子。剛結婚時租中山北路叔叔的房子，後來租重慶北路朋友的，以後仁愛路、泰順路、杭州南路……都是醫學院宿舍。「宿舍很舊，修理房子有經費補助，但他從不要求改善居住環境。」現在居住的房子，是十年前才買的。岳父吳鴻麟就曾經說：「像你們這樣兩夫婦都不愛錢的，還真少見。」