इसमें शक नहीं कि रफी साहब अपने काम में इतने मशरूफ़ रहते थे कि उन्हें परिवार के लिए कम समय मिल पाता था लेकिन जब भी वक्त मिलता था, वह उसे अपने परिवार के साथ बिताना ही पसंद करते थे. मोहम्मद रफी की पत्नी बिलकिस रफी का एक इंटरव्यू खूब चर्चा में आया था. इस इंटरव्यू में बिलकिस ने कहा था, 'बच्चों को अपने अब्बा से बस एक शिकायत रहती थी कि वो उन्हें रिकॉर्डिंग्स, फंक्शन या फिल्मों की शूटिंग दिखाने लेकर नहीं जाते. अगर रफी साहब बच्चों के साथ फिल्म देखने जाते थे तो तब पहुँचते थे जब फिल्म शुरू हो चुकी होती थी और फिल्म खत्म होने से पहले ही वहां से निकल पड़ते थे.'
'बच्चों को शिकायत होती थी कि उन्हें पता ही नहीं होता था कि फिल्म शुरू कहां से हुई और खत्म कहां पर? दरअसल, रफी साहब को किसी भी तरह की पब्लिसिटी पसंद नहीं थी और इस बात से बच्चों को चिढ़ होती थी. हालांकि, इन छोटी-मोटी शिकायतों को दरकिनार कर दें तो बच्चे अपने अब्बा पर जान चिढ़कते थे और उनकी बहुत इज्जत करते थे.वह रफ़ी साहब जैसे पिता मिलने पर भगवान का शुक्रिया अदा करना नहीं भूलते थे.'
बिलकिस ने आगे कहा था, 'रफी साहब बेहद साधारण इंसान थे, उनकी दुनिया उनके बच्चों के इर्द-गिर्द घूमती थी. वह रिकॉर्डिंग से घर आते और घर से रिकॉर्डिंग के लिए जाते, यही उनका शेड्यूल था. वह बच्चों को किसी चीज़ की कमी नहीं होने देते थे.' रफी साहब का 31 जुलाई, 1980 को निधन हो गया था.