अपने आप गिर जाती थी किले की दीवार चौबुर्जा मंदिर के महंत रमेश आचार्य ने बताया तत्कालीन महाराजा जयसिंह द्वितीय ने जयपुर बसाने के बाद राज्य की सुरक्षा की दृष्टि से पहाड़ी पर नाहरगढ़ किले का निर्माण करवाना शुरू किया तो शाम को निर्माण अपने आप गिर जाता था। जब रोजाना इस तरह होने लगा तो महाराजा ने निर्माण की सुरक्षा के लिए सैन्य टुकड़ी तैनात कर दी। दूसरे दिन सैनिकों ने बताया कि निर्माण गिरता तो दिखता, लेकिन निर्माण कौन गिरा रहा है वह दिखाई नहीं देता। इस पर महाराजा चिंतित हो गए और राज पुरोहित रत्नाकर पुंडरिक को मंत्रणा के लिए बुलाया। उन्होंने अपनी साधना से पता लगा कर बताया कि यह काम नाहरसिंह भौमिया का है। किले की दीवार के पास भौमियाजी का वास है। कहा जाता है कि पुंडरिक ने रक्षा बंधन के दिन साधना से भौमियाजी को प्रसन्न कर लिया और किले से स्थान छोडऩे का संकल्प करवा लिया। इस पर भौमियाजी दो शर्तों पर स्थान छोडऩे पर राजी हुए। एक तो आमागढ़ की पहाड़ी पर 24 घंटे में किलेनुमा चौबुर्जा मंदिर बनाया जाए और दूसरा सुदर्शनगढ़ का नामकरण उनके नाम पर किया जाए।
हरियाली अमावस्या को लगता है मेला नाहरसिंह बाबा को सुदर्शनगढ़ से विधि-विधान पूर्वक आमागढ़ की पहाड़ी पर विराजित करवाया गया। इसके बाद पहाड़ी की तलहटी के नीचे भी नाहरसिंह बाबा की पूजा होने लगी। महंत राजकुमार सैनी ने बताया कि यहां प्रतिवर्ष सावन में हरियाली अमावस्या पर नाहरसिंह भौमिया के जन्मोत्सव के उपलक्ष्य में मेला भरता है। इसमें जयपुर के अलावा आस पास के गांवों के श्रद्धालु बाबा के दरबार में आते हैं। बाबा को दूध, खीर-चूरमा का भोग लगाया जाता है।