छह वर्ष की उम्र से बनाने लगे थे धुन सिंथेसाइजर और हारमोनियम पर संगीत का रियाज करने वाले रहमान की की-बोर्ड पर उंगलियां ऐसा कमाल करती तो सुनने वाले मुग्ध रह जाते कि इतना छोटा बच्चा इतनी मधुर धुन कैसे बना सकता है। उस समय रहमान की उम्र महज छह वर्ष की थी। एक बार उनके घर में उनके पिता के एक मित्र आए और जब उन्होंने रहमान की बनाई धुन सुनी तो सहसा उन्हें विश्वास नहीं हुआ और उनकी परीक्षा लेने के लिये उन्होंने हारमोनियम पर कपड़ा रख दिया तथा रहमान से धुन निकालने के लिये कहा। हारमोनियम पर रखे कपड़े के बावजूद रहमान की उंगलियां बोर्ड पर थिरक उठीं और उस धुन को सुन वह चकित रह गए।
कुछ दिनों के बाद रहमान ने एक बैंड की नींव रखी जिसका नाम नेमेसीस एवेन्यू था। वह इस बैंड में सिंथेनाइजर, पियानो, गिटार, हारमोनियम बजाते थे। अपने संगीत के शुरूआती दौर से ही रहमान को सिंथेनाइजर ज्यादा अच्छा लगता था। उनका मानना था कि यह एक ऐसा वाद्य यंत्र है जिसमें संगीत और तकनीक का बेजोड़ मेल देखने को मिलता है। वह अभी संगीत सीख ही रहे थे तो उनके सिर से पिता का साया उठ गया लेकिन रहमान ने हिम्मत नहीं हारी और संगीत का रियाज सीखना जारी रखा।
बहन को बचाने के लिए मांगी थी मन्नत, बदला धर्म वर्ष 1989 की बात है रहमान की छोटी बहन काफी बीमार पड़ गई और सभी चिकित्सकों ने यहां तक कह दिया कि उसके बचने की कोई उम्मीद नहीं है। रहमान ने अपनी छोटी बहन के जीवन की खातिर मंदिर-मस्जिदों में दुआएं मांगी और जल्द ही उनकी दुआ रंग लाई तथा उनकी बहन चमत्कारिक रूप से स्वस्थ हो गई। इस चमत्कार को देख रहमान ने इस्लाम कबूल कर लिया और इसके बाद उनका नाम ए. एस. दिलीप कुमार से अल्लाह रखा रहमान यानि ए. आर. रहमान हो गया।
इस बीच रहमान ने मास्टर धनराज से संगीत की शिक्षा हासिल की और दक्षिण फिल्मों के प्रसिद्ध संगीतकार इल्लया राजा के समूह के लिए की-बोर्ड बजाना शुरू कर दिया उस समय रहमान की उम्र महज 11 वर्ष थी। इस दौरान रहमान ने कई बड़े एवं नामी संगीतकारों के साथ काम किया इसके बाद रहमान को लंदन के ट्रिनिटी कॉलेज ऑफ म्यूजिक में स्कॉलरशिप का मौका मिला जहां से उन्होंने वेस्टर्न क्लासिकल म्यूजिक की स्नातक की डिग्री भी हासिल की। स्नातक की डिग्री लेने के बाद रहमान घर आ गये और उन्होंने अपने घर में ही एक म्यूजिक स्टूडियो खोला और उसका नाम पंचाथम रिकार्ड इन रखा।
मणिरत्नम ने दिया था पहला ब्रेक इस दौरान रहमान लगभग एक साल तक फिल्म इंडस्ट्री में अपनी पहचान बनाने के लिये संघर्ष करते रहे और टीवी के लिये छोटा मोटा संगीत देने और रेडियो जिंगल बनाने का काम करते रहे। वर्ष 1992 रहमान के सिने कैरियर का महत्वपूर्ण वर्ष साबित हुआ। अचानक उनकी मुलाकात फिल्म निर्देशक मणिरत्नम से हुई। मणिरत्नम उन दिनों फिल्म रोजा के निर्माण में व्यस्त थे और अपनी फिल्म के लिये संगीतकार की तलाश में थे। उन्होंने रहमान को अपनी फिल्म में संगीत देने की पेशकश की।
कश्मीर आतंकवाद के विषय पर आधारित इस फिल्म में रहमान ने अपने सुपरहिट संगीत से श्रोताओं का दिल जीत लिया और इसके साथ ही उन्हें सर्वश्रेष्ठ संगीतकार के राष्ट्रीय पुरस्कार से भी सम्मानित किया गया। इसके बाद रहमान ने पीछे मुडक़र कभी नहीं देखा और फिल्मों में अपने एक से बढक़र एक एवं बेमिसाल संगीत से श्रोताओं को मंत्रमुग्ध कर दिया। इसके बाद रहमान ने तिरूड़ा तिरूड़ा, बांबे, जैंटलमैन, इंडियन और कादलन आदि फिल्मों में भी सुपरहिट संगीत दिया और संगीत जगत में अपनी अलग पहचान बना ली। रहमान ने कर्नाटक संगीत, शास्त्रीय संगीत और आधुनिक संगीत का मिश्रण कर श्रोताओं को एक अलग संगीत देने का प्रयास किया। अपनी इन्हीं खूबियों के कारण वह श्रोताओं में बहुत लोकप्रिय हो गए।
रहमान निर्माता-निर्देशकों की पहली पसंद बन गए और वे रहमान को अपनी फिल्म में संगीत देने के लिये पेशकश करने लगे। लेकिन रहमान ने केवल उन्हीं फिल्मों के लिये संगीत दिया जिनके लिये उन्हें महसूस हुआ कि वाकई इसमें कुछ बात है। वर्ष 1997 में भारतीय स्वतंत्रता की 50वीं वर्षगांठ पर उन्होंने स्वर साम्राज्ञी लता मंगेशकर के साथ मिलकर वंदे मातरम यानी मां तुझे सलाम का निर्माण किया। इसके बाद वर्ष 1999 में रहमान ने कोरियोग्राफर शोभना, प्रभुदेवा और उनके डांसिंग समूह के साथ मिलकर माइकल जैक्सन के माइकल जैक्सन एंड फ्रैंडस टूर के लिये म्यूनिख, जर्मनी में कार्यक्रम पेश किया।
इसके बाद रहमान को म्यूजिक कान्सर्ट में भाग लेने के लिये विदेशों से भी प्रस्ताव आने लगे। उन्होंने पाश्चात्य संगीत के साथ-साथ भारतीय शास्त्रीय संगीत के मिश्रण को लोगों के सामने रखना शुरू कर दिया था। रहमान को बतौर संगीतकार अब तक दस बार फिल्म फेयर पुरस्कार से सम्मानित किया जा चुका है। इन सबके साथ ही अपने उत्कृष्ट संगीत के लिये उनको चार बार राष्ट्रीय फिल्म पुरस्कार से सम्मानित किया गया है। उन्हें पद्मश्री पुरस्कार से भी नवाजा जा चुका है।
इन सबके साथ ही विश्व संगीत में महत्वपूर्ण योगदान के लिये वर्ष 2006 में उन्हें स्टैनफोर्ड यूनिवर्सिटी में सम्मानित किया गया। रहमान के सिने करियर में एक नया अध्याय उस समय जुड़ गया जब ए आर रहमान ने फिल्म स्लमडॉग मिलिनेयर के लिए दो ऑस्कर पुरस्कार जीतकर नया इतिहास रच दिया। रहमान को 81वें अकादमी अवार्ड समारोह में इस पुरस्कार से सम्मानित किया गया।