त्रेता युग में भगवान् विष्णु के छठवें अवतार भगवान् परशुराम और उनके पिता ऋषि जमदग्नि कैलाश पर्वत पर भगवान शिव की आराधना करने गए। दोनों पिता-पुत्र की कड़ी तपस्या से प्रसन्न होकर भगवान शिव ने उन्हें वरदान मांगने को कहा। इस पर भगवान परशुराम और उनके पिता ऋषि जमदग्नि ने उनसे अपने साथ चलने और हमेशा साथ रहने का आशीर्वाद मांग लिया। इसके बाद भगवान शिव ने दोनों पिता-पुत्र को एक-एक शिवलिंग भेंट स्वरुप दिया। जब दोनों पिता-पुत्र यमुना किनारे अग्रवन में बने अपने आश्रम रेणुका के लिए चले (रेणुकाधाम का अतीत श्रीमद्भागवत गीता में वर्णित है) तो आश्रम से 6 किलोमीटर पहले ही रात्रि विश्राम को रुके। फिर सुबह होते ही दोनों पिता-पुत्र हर रोज की तरह नित्य कर्म के लिए गए। इसके बाद ज्योर्तिलिंगों की पूजा करने के लिए पहुंचे, तो वह जुड़वा ज्योर्तिलिंग वहीं स्थापित हो गए। इन शिवलिंगों को महर्षि परशुराम और उनके पिता ऋषि जमदग्नि ने काफी उठाने का प्रयास किया, लेकिन उस जगह से उठा नहीं पाए। हारकर दोनों पिता-पुत्र ने उसी जगह पर दोनों शिवलिंगों की पूजा अर्चना कर पूरे विधि-विधान से स्थापित कर दिया और तब से इस धार्मिक स्थल का नाम कैलाश पड़ गया।
यह मंदिर भगवान शिव और पवित्र यमुना नदी जो कि मंदिर के किनारे से होकर गुजरती है के लिए प्रसिद्ध है। कभी-कभार जब यमुना का जल-स्तर बढ़ा हुआ होता है और यमुना में बाढ़ की स्थिति होती है तो यमुना का पवित्र जल कैलाश महादेव मंदिर के शिवलिंगों तक को छू जाता है। यह अत्यंत मनमोहक दृश्य होता है। कैलाश मंदिर पर आने वाला हर व्यक्ति इस खूबसूरत ऐतिहासिक जगह की सराहना करे वगैरह नहीं रहता है।