बताया जाता है कि इस सिद्धपीठ की स्थापना 1935 में परम तेजस्वी स्वामी जी ने की थी। हालांकि मां पीतांबरा का जन्म स्थान, नाम और कुल आज तक रहस्य बना हुआ है। इसके बारे अब किसी ने भी सही जानकारी नहीं दी है। कहा जाता है कि मां का ये चमत्कारी धाम स्वामी जी के जप और तप के कारण ही एक सिद्ध पीठ के रूप में देशभर में जाना जाता है। यहां मां पीतांबरा चर्तुभुज रूप में विराजमान हैं। उनके एक हाथ में गदा, दूसरे में पाश, तीसरे में वज्र और चौथे हाथ में उन्होंने राक्षस की जिह्वा थाम रखी है।
यहां भक्त मां का दर्शन एक छोटी सी खिड़की से करते हैं। बताया जाता है कि दर्शनार्थियों को मां की प्रतिमा को स्पर्श करने से मनाही है। कहा जाता है कि मां बगुलामुखी ही पीतांबरा देवी हैं इसलिए उन्हें पीली वस्तुएं चढ़ाई जाती हैं। बताया जाता है कि यहां पर भक्त विशेष अनुष्ठान करते हैं और मां को पीले कपड़े पहनाते हैं, उसके बाद ही मुराद मांगते हैं। माना जाता है कि मां किसी को निराश नहीं करती हैं।
कहा जाता है कि विधि-विधान से अगर अनुष्ठान किया जाता है तो मनोकामना जल्द पूरा कर देती हैं। माना जाता है कि मां पीतांबरा को राजसत्ता की देवी हैं और इसी रूप में भक्त उनकी आराधना करते हैं। राजसत्ता की कामना रखने वाले भक्त यहां आकर गुप्त पूजा अर्चना करते हैं। मां पीतांबरा शत्रु नाश की अधिष्ठात्री देवी है और राजसत्ता प्राप्ति में मां की पूजा का विशेष महत्व होता है।
यहां पर मां पीतांबरा के साथ ही खंडेश्वर महादेव और धूमावती के दर्शनों का भी सौभाग्य मिलता है। मंदिर के दायीं ओर खंडेश्वर महादेव हैं, जिनकी तांत्रिक रूप में पूजा होती है. महादेव के दरबार से बाहर निकलते ही दस महाविद्याओं में से एक मां धूमावती हैं. मां धूमावती का दर्शन केवल आरती के समय ही किया जा सकता है, बाकी समय मंदिर के कपाट बंद रहते हैं।
