उसके बाद उन्होंने हिंदी फिल्म गांव की गोरी में गाने का अवसर मिला। इसके बाद उन्होंने कभी पीछे मुड़कर नहीं देखा और एक के बाद एक हिट गाने दिए। लेकिन एक वक्त ऐसा भी आया जब रफी साहब ने मौलवियों के कहने पर गाना छोड़ दिया था।
Anil Kapoor के साथ अफेयर की खबरों पर माधुरी दीक्षित ने कहा था- मैं उस जैसे इंसान… मोहम्मद रफी के बेटे शाहिद ने एक वेबसाइट को दिए इंटरव्यू में इस बात का खुलासा किया था। शाहिद ने बताया, ‘1970 के दशक में उनके पिता हज करने के लिए गए थे। वह खुदा पर काफी यकीन करते थे। मक्का से जब वह लौटे तो कुछ लोगों ने उनसे कहा कि आप ये क्या कर रहे हैं? यह हमारे मजहब के खिलाफ है। अब आप हाजी हो गए हैं। ऐसे में आपको गाना-बजाना बंद कर देना चाहिए।’ लोगों की बातों में आकर रफी साहब ने गाना छोड़ दिया। इतना ही नहीं, वह लंदन में जाकर बस गए। जिसके बाद उनके बड़े बेटे ने उन्हें समझाया।
इश्क किया मगर जिंदगी भर पर पति के सुख के लिए तरसती रहीं ये टॉप 7 अभिनेत्रियां, कई विवाहित पुरुषों से रहे संबंध उनके बेटे से उनसे कहा था कि खुदा ने आपको ये आवाज बख्शी है। इसलिए आपको वापस आना होगा। आप कुछ महीने बैठे रह सकते हैं लेकिन उसके बाद क्या करेंगे। आपका गला ही परिवार के रोजगार का जरिया है। अगर गाना बंद कर दिया तो घर कैसे चलेगा। बेटे के काफी समझाने के बाद आखिरकार रफी साहब मान गए थे। उसके बाद उन्होंने फिर से गाना शुरू कर दिया। अपनी दूसरी पारी में भी रफी साहब ने सुपरहिट गाने दिए। 31 जुलाई 1980 को रमजान के महीने में रफी साहब ने दुनिया को अलविदा कह दिया।
