不過和事業比起來，他的風流韻事更加受網友關注，尤其是當年與林青霞、鄧麗君、蕭芳芳的感情糾紛，常常上娛樂頭條，因此還有個頭銜叫「花心查理」，從影后因合作過的女明星數不勝數，因此緋聞也不斷。
蕭芳芳和他很有緣，也是秦祥林瘋狂追求的第一個女人，為了追求她，秦祥林也是花了很多心思，不遠萬里從香港追到臺灣，再追到美國。
就這樣，當年他們結婚成了很多人羡慕的一對夫妻，婚後他們在事業上互相激勵，取得了不錯成就，但因為婚前彼此瞭解的不深，最後感情出現了裂痕，導致離婚。
離婚後秦祥林又與鄧麗君聊得火熱，還公開表示是自己主動去追鄧麗君，因為喜歡鄧麗君的純真，還誇她在做人方面很有原則，但沒過多久，他又公開表白只愛林青霞，使和鄧麗君這段感情畫上了句號，至此開啟了「一林二秦」驚世之戀。
因為林青霞喜歡電影，所以很喜歡秦祥林，跟秦祥林認識後，林青霞覺得只要她再努力一把或給予一些暗示，就能跟他成為情侶，可現實卻很殘酷，因為在秦祥林的眼中林青霞只是個小姑娘罷了。
而且最讓人尷尬的是，傳聞當時秦祥林和蕭芳芳兩人鬧矛盾，林青霞還做中間人去調節，她假裝過生日，只是想哄蕭芳芳出席，但是一來二去之下，秦祥林喜歡上了林青霞，但最終兩人還是沒有走到最後，林青霞後來主動提出解除婚約，其中的原因相信大家都知道。
現在秦祥林已經72歲了，再也折騰不動了，還自曝在美國修馬桶，日子過得很充實，滿足。
