晉獻公時滅了虞國，俘虜了虞公及其大夫井伯、百里奚。後來晉獻公把女兒嫁給秦穆公，百里奚也被當作陪嫁小臣送到秦國。百里奚引以為恥，便從秦國逃到宛（今河南南陽），卻被楚國人捉去養牛。

秦穆公聽說百里奚賢能，願以重金贖回百里奚，又怕楚人不肯。於是派使者到楚，說：「秦國的媵奴百里奚逃到貴國，請以五羖羊皮（五張公羊皮）贖之。」楚國答應了秦的要求。

當七十餘歲的百里奚被押回秦國時，秦穆公親自為他打開囚鎖，想與他商談國事。百里奚推辭說：「我是亡國之臣，哪裡值得君公垂詢！」秦穆公說：「虞君不用你，才亡國，並不是你的過錯。」

就這樣兩人相談數日，秦穆公十分賞識百里奚，拜為國相。由於百里奚是用五張公羊皮贖回來的，所以人稱其為「五羖大夫」。

百里奚在秦國主政期間，大力舉薦蹇叔等賢士，內修國政、恩澤施於百姓；勞累不坐車，酷暑炎熱不打傘蓋，走遍各地，不用車馬、隨從。雖身為秦國大夫，卻毫無架子，以實際行動感動了百姓，使秦國迅速大治。

在外交上，百里奚施德予諸侯，整頓與鄰國的友好關係，絕不輕啟戰端，樹立秦國的威信，為秦穆公稱霸奠定了基礎。

晉獻公死後，晉國內亂，秦穆公九年（西元前六五一年），秦穆公派百里奚護送晉國公子夷吾回國繼位，為晉惠公。西元前六四八年晉國旱災，秦穆公還運送了大量米糧給晉救急，晉國百姓無不感激秦國的恩德。

秦穆公十四年（西元前六四六年），秦國也發生饑荒，但是晉國不僅不給秦國糧食救災，反而以怨報德，並於次年攻秦，雙方大戰，秦軍最終生俘晉惠公。

秦國以晉惠公交換晉國河西（黃河以西）五城，把疆域擴充到黃河西岸。另一方面，秦國還自西開地千里，稱霸西戎，奠定秦國稱霸以及往後一統中原的基礎。

《史記》載孔子的評論：「秦，國雖小，其志大；處雖辟，行中正。身舉五領（即百里奚），爵之大夫……以此取之，雖王可也，其霸小矣。」故後世稱許秦穆公的功業，總以任用百里奚為其首要關鍵。