孔子曾感慨：「吾未見好德如好色者也」（《論語‧子罕》）；他還曾告誡人們：「少之時，血氣未定，戒之在色」（《季氏》）。在「色」的問題上，孔子保持十分警惕的態度。

對於如何解決「色」這個問題，孔子有自己的一套方法，我們不妨將之稱為「軟硬兼施」，即「硬抑制」與「軟疏導」相結合。

所謂「硬抑制」，也就是「克己復禮」。孔子曾對顏淵說：「克己復禮為仁……非禮勿視，非禮勿聽，非禮勿言，非禮勿動」（《顏淵》）。即克制自己，用外在的規範來約束自己的一言一行、一舉一動，將聲色犬馬的誘惑降到最低點。只有在生活中處處留意自己的言行舉動，避免在細節上出小問題，才不至於在「色」上出大問題。

這種主張頗似墨家的「苦行」，雖行之不易，然若能堅持下去，可以獲得自我道德感的巨大升華。

所謂「軟疏導」，也就是「詩樂怡情」。孔子看重詩與樂的陶冶、教化功能，常教導弟子要「學詩」；他酷愛音樂，同別人一起唱歌時，如果聽見人家唱得好， 「必使反之，而後和之」（《述而》）。為達到陶冶性情的功效，孔子重視詩歌和音樂的選取，強調將其中思想純正、曲調和順的加以提倡，而將那些放蕩、無節制的加以摒棄。

前者以《關雎》為典型，孔子稱讚它「樂而不淫，哀而不傷」（《八佾》），這樣的詩可以中和內心的不平，合理抒發情感而不至於放縱欲望；後者以「鄭聲」（即鄭國的樂曲）為代表，因為「鄭聲淫」（《衛靈公》），那些瀰漫淫穢的音樂使人放縱情感，不利於養成中正平和的性情。

孔子這套「軟硬兼施」的方法，能夠使外在的規範逐漸轉化為內在的操守，經過不斷的陶冶和修養，最終可以達到「從心所欲，不踰矩」（《為政》）的理想狀態。到那時，「色」就不再是一個問題了。