किवदंती है कि हाजी अली उज़्बेकिस्तान के एक समृद्ध परिवार से ताल्लुक रखते थे। एक बार जब हाजी अली उज़्बेकिस्तान में नमाज़ पढ़ रहे थे। तभी एक महिला वहां से रोती हुई गुज़री। हाजी अली के पूछने पर महिला ने बताया कि वह तेल लेने निकली थी, लेकिन तेल से भरा बर्तन गिर गया और तेल ज़मीन पर फैल गया। महिला ने कहा कि अब उसका पति उसे इस बात के लिए खूब मारेगा। यह बात सुनने के बाद हाजी अली महिला को उस जगह पर ले गए जहां तेल गिरा था। वहां जाकर उन्होंने अपना अंगूठा ज़मीन में गाड़ दिया। जिसके बाद ज़मीन से तेल का फव्वारा निकलने लगा।
यह चमत्कार देखते ही महिला हैरान रह गई। उसने तुरंत अपना बर्तन तेल से भर लिया और अपने घर चली गई। कहा जाता है कि महिला तो खुश होकर वहां से चली गई, लेकिन हाजी अली को कोई बात परेशान किए जा रही थी। उन्हें रातों में बुरे सपने आने लगे। अंदर ही अंदर उन्हें लग रहा था कि उनसे बहुत बड़ा पाप हो गया है। उन्हें लगने लगा कि उन्होंने ज़मीन से तेल निकालकर धरती को ज़ख़्मी कर दिया है। बस तभी से वह मायूस रहने लगे और बीमार भी पड़ गए। कुछ समय बाद वह अपना ध्यान भटकाने के लिए अपने भाई के साथ बंबई व्यापार करने आ गए। बंबई में वे उस जगह पहुंच गए जहां आज हाजी अली दरगाह है। कुछ समय वहीं रहने के बाद हाजी अली का भाई उज़्बेकिस्तान वापस चला गया, लेकिन हाजी अली ने वहीं रहकर धर्म का प्रचार-प्रसार शुरू कर दिया।
उम्र के एक पड़ाव के बाद उन्होंने मक्का की यात्रा पर जाने की सोची। उन्होंने मक्का जाने से पहले अपने जीवन की सारी कमाई गरीबों को दान कर दी। मक्का यात्रा के दौरान ही हाजी अली की मौत हो गई। कहा जाता है कि हाजी अली की आखिरी ख्वाहिश थी कि उन्हें दफनाया न जाए। उन्होंने अपने परिवार से कहा था कि उनके पार्थिव शरीर को एक ताबूत में रखकर पानी में बहा दिया जाए। परिवार ने उनकी आखिरी इच्छा पूरी कर दी, लेकिन चमत्कार हुआ और वह ताबूत तैरता हुआ बंबई आ गया। हैरान कर देने वाली बात यह है कि इतने दिनों तक पानी में रहने के बाद भी ताबूत में एक बूंद पानी नहीं गया। इस चमत्कारी घटना के बाद ही हाजी अली की याद में बंबई में हाजी अली की दरगाह का निर्माण किया गया। कहते हैं कि समंदर के बीचों बीच होने के बाद भी दरगाह में लहरें जाने से कतराती हैं।