बेहद पुराने इस पर्वत को लेकर एक कहानी प्रचलित है। कहा जाता है कि एक बार ऋषि पुलस्त्य इस पर्वत की खूबसूरती से बेहद प्रभावित हुए। वे इसे द्रोणांचल पर्वत से उठाकर अपने साथ ले जाना चाहते थे। तभी गोवर्धन जी ने कहा कि यदि आप मुझे अपने साथ ले जाना चाहते हैं तो ले जाइए, लेकिन याद रखिएगा आप मुझे जिस स्थान पर पहली बार रखेंगे, मैं वहीं स्थापित हो जाउंगा। ऋषि पुलस्त्य पर्वत को अपने साथ लेकर चल दिए। रास्ते में उनकी साधना का समय हुआ तो उन्होंने पर्वत को नीचे रख दिया। नीचे रखते ही वह स्थापित हो गया। फिर ऋषि उसे हिला भी नहीं सके। इससे में क्रोध में आ गए और उन्होंने पर्वत को हर दिन घटने का श्राप दे दिया। तब से ये पर्वत हर दिन मुट्ठीभर छोटा हो रहा है।
माना जाता है कि गोवर्धन पर्वत का आकार आज से करीब पांच हजार साल पहले ये 30 हजार मीटर ऊंचा हुआ करता था जो घटकर अब 30 मीटर रह गया है। गोवर्धन पर्वत को गिरिराज पर्वत के नाम से भी जाना जाता है।
गोवर्धन पर्वत की पूजा के पीछे भी धार्मिक कहानी प्रचलित है। मान्यता है कि एक बार इंद्र ने ब्रज क्षेत्र में घनघोर बारिश की। तब लोगों को बचाने के लिए भगवान कृष्ण ने इसे कनिष्ठा यानी सबसे छोटी उंगली पर उठा लिया। तब लोगों ने पर्वत के नीचे खड़े होकर अपनी जान बचाई। तब से आज तक इस पर्वत को देवता मानकर पूजन किया जाता है। दूर—दूर से लोग इस पर्वत की परिक्रमा लगाने आते हैं।