कहते है हजारों वर्ष पहले सम्राट दक्ष की पुत्री सती, शिव से शादी करना चाहती थीं परंतु राजा दक्ष इसके खिलाफ थे। एक बार राजा दक्ष ने एक यज्ञ किया। इस यज्ञ में ब्रह्मा, विष्णु, इंद्र और अन्य देवी-देवताओं को भी आमंत्रित किया गया था, लेकिन जान-बूझकर उन्होंने भगवान शिव को नहीं बुलाया। सती ने अपने पिता से भगवान शिव को आमंत्रित न करने का कारण पूछा। दक्ष ने शिव के बारे में अपशब्द कहा, तब इस अपमान से पीडि़त होकर सती मौन होकर उत्तर दिशा की ओर मुख करके बैठ गईं और योग द्वारा वायु तथा अग्नि तत्व को धारण करके अपने शरीर को अपने ही तेज से भस्म कर दिया, जब शिवजी को इस दुर्घटना का पता चला तो क्रोध से उनका तीसरा नेत्र खुल गया और यज्ञ का नाश हो गया। तब भगवान शंकर ने माता सती के पार्थिव शरीर को कंधे पर उठा लिया और गुस्से में तांडव करने लगे। भगवान विष्णु ने सती के शरीर को 52 हिस्सों में विभाजित कर दिया।
बताते हैं कि मैहर में दुर्जन सिंह जुदेव नाम के राजा शासन करते थे। उन्हीं के राज्य का एक चरवाहा गाय चराने के लिए जंगल में जाया करता था। एक दिन गाय का पीछा करते हुए उसने देखा कि वह पहाड़ी की चोटी में स्थित गुफा में चली गई और उसके अंदर जाते ही गुफा का द्वार बंद हो गया। वह वहीं द्वार पर बैठ गया। उसे पता नहीं कि कितनी देर के बाद द्वार खुला। लेकिन उसे वहां एक बूढ़ी मां के दर्शन हुए। तब चरवाहे ने उस बूढ़ी महिला से कहा, ‘माई मैं आपकी गाय को चराता हूं, इसलिए मुझे पेट के वास्ते कुछ दे दों। तब बूढ़ी माता अंदर गई और लकड़ी के सूप में जौ के दाने उस चरवाहे को दिए और कहा, ‘अब तू इस जंगल में अकेले न आया कर। चरवाहे ने घर आकर जौ के दाने वाली गठरी खोली, तो हैरान हो गया। उसने सोचा- मैं इसका क्या करूंगा। सुबह होते ही राजा के दरबार में हाजिर होऊंगा और उन्हें आप बीती सुनाऊंगा। दूसरे दिन दरबार में वह चरवाहा अपनी फरियाद लेकर पहुंचा और राजा के सामने पूरी आप बीती सुनाई।
दो बीर भाई आल्हा-उदल जिन्होंने पृथ्वीराज चौहान के साथ युद्ध लड़ा था, वो भी शारदा माता के भक्त हुआ करते थे। इन्हीं दोनों ने सबसे पहले जंगलों के बीच शारदा देवी के इस मंदिर की खोज की थी। इसके बाद आल्हा ने इस मंदिर में बारह सालों तक घोर तपस्या कर मां शारदा माता को प्रसन्न किया। माता ने उन्हें अमरत्व का आशीर्वाद दिया था, कहते हैं कि दोनों भाइयों ने भक्ति-भाव से कई बार अपनी जीभ व सिर माता शारदा को अर्पण कर दिया था, जिसे मां शारदा ने उसी क्षण वापस कर दिया। आल्हा देव माता शारदा को माई कह कर पुकारा करते थे, और तभी से ये मंदिर माता शारदा माई के नाम से प्रसिद्ध हो गया। आज भी मान्यता है कि माता शारदा के सर्वप्रथम दर्शन आल्हा और ऊदल ही करते हैं। मंदिर के पीछे पहाड़ों के नीचे एक तालाब है जिसे आल्हा तालाब कहा जाता है। तालाब से दो किलोमीटर और आगे जाने पर एक अखाड़ा है, जिसके बारे में कहा जाता है कि यहां आल्हा और ऊदल कुश्ती लड़ा करते थे। कहा जाता है कि यहां पर आल्हा और ऊदल अब भी रोजाना मां के दर्शन करने आते हैं।