呂樂，這個名字在六七十年代的香港，無人不知。他與藍剛二人分別擔任九龍區、港島區的總探長，當時的香港被稱為「呂樂藍剛的時代」。以呂樂為原型的黑幫電影并不少，因為呂樂是四大探長之首。事實上，除藍剛與呂樂平起平坐之外，其余兩位探長只能算呂樂的跟班。

當年，向華勝請劉德華主演了一半《五億探長雷洛傳》的電影，坊間傳言呂樂得知該消息后大發雷霆，還揚言要阻止這部電影上映。事實并非如此，根據呂樂自述：向華盛主動詢問過呂樂，而呂樂并沒反對，只是不能用真名，誰知道這部電影情節過分、夸張。

呂樂最不滿意的就是電影把顏雄放在與他平起平坐的位置，甚至還被顏雄欺負。然而，顏雄只是他的手下，但很有能力，整個警隊中只有顏雄一個人能搞定九龍城寨，潮州幫都給他幾分面子。另一些傳聞則說呂樂不懂英文，識字不多，簽名時都用圓圈和箭頭代替。對于這樣的傳聞，呂樂表示很生氣：「我不識字，怎能做探長？當年日本人占領香港時，我還出過《香港人報》。」

當問及黑道四大家族的情況時，他表示并無四大家族的說法，潮州派系中就有許多大小幫會，和字頭的幫派也不少。警察要破案，呂樂直接找各幫派的龍頭老大交人。更表示，當年的香港警察很威的，現在的警察比不了。

多年前，香港有古惑仔當著警察面說：「十二點后我話事」。對此，呂樂笑說：「警察的權威，今非昔比，當年根本沒有古惑仔敢同警察這樣說話，見了警察如同老鼠見貓，溜之大吉。

」

談及呂樂是否擁有五億身家時，呂樂立即否認：「有五億就好了！按照現在的價值來計算，也不值五億，好多都賣了，況且五個億在香港算多嗎？」在電影《跛豪》中，呂樂有一個私生子，對此他本人曾表示：「他姓呂，就說是我的私生子？簡直胡說八道。」