बताया जाता है कि इस मंदिर में स्थापित शिवलिंग विश्व का सबसे ऊंचा शिवलिंग है, जिसे द्वापर युग में पांडवों के अज्ञातवास के दौरान भीम ने स्थापित किया था। बताया जाता है कि इस शिवलिंग के दर्शन मात्र से ही सभी कष्ट दूर हो जाते हैं।
कैसे पड़ा मंदिर का नाम इतिहासकारों के अनुसार, मुगल सम्राट के कार्यकाल में किसी सेनापति ने यहां पूजा अर्चना की थी और मंदिर का जीर्णोद्धार कराया था। बताया जाता है कि भीम द्वारा स्थापित यह शिवलिंग धीरे-धीरे जमीन में समा गया। इसके बाद खरगूपुर के राजा मानसिंह की अनुमति से पृथ्वीनाथ सिंह के नाम के एक शख्स ने मकान निर्माण के लिए यहां पर खुदाई शुरू करा दी।
बताया जाता है कि उसी रात पृथ्वीनाथ सिंह को सपने में पता चला कि उस जमीन के नीचे सात खंडों का एक शिवलिंग दबा हुआ है। उसके बाद शिवलिंग खोदवाकर पूजा-अर्चना शुरू करा दी गई। इसके बाद ही इस मंदिर का नाम पृथ्वीनाथ मंदिर पड़ गया।