यह मंदिर देश की राजधानी से 500 किलोमीटर दूर हिमाचल के चम्बा जिले में भरमौर नामक स्थान पर स्थित है जिसे लेकर सदियों से कई तरह की मान्यताएं प्रचलित हैं। ऐसा माना जाता है कि इस मंदिर के अंदर कोई भी घुसने का प्रयास नहीं करता है और ज्यादातर लोग इस मंदिर से दूर रहने में ही भलाई समझते हैं और दूर से ही इसके दर्शन करते हैं। यह मंदिर किसी घर की तरह दिखाई पड़ता है। पूरी दुनिया में यमराज का यह इकलौता मंदिर है।
इस मंदिर के अंदर एक खाली कमरा है जिसके बारे में ये कहा जाता है कि यह चित्रगुप्त का कमरा है। जानकार ऐसा बताते हैं कि जब किसी व्यक्ति की मौत होती है तो यमदूतों को उसकी आत्मा लाने के लिए भेजा जाता है इसके बाद आत्मा को सबसे पहले चित्रगुप्त के पास ले जाया जाता है फिर चित्रगुप्त उस आत्मा के कर्मों का लेखा-जोखा देते हैं। इसके बाद आत्मा को चित्रगुप्त के कमरे के सामने वाले कमरे में ले जाया जाता है जहां पर यमराज की अदालत लगती है जिसमें कार्रवाई होती है और तब जाकर इस बात का फैसला लिया जाता है कि व्यक्ति की आत्मा को स्वर्ग भेजा जाएगा या नर्क। ऐसा कहा जाता है कि इस मंदिर में चार अदृश्य द्वार हैं जो सोने, चांदी, तांबा और लोहे के बने हैं। यमराज का फैसला आने के बाद यमदूत आत्मा को कर्मों के अनुसार इन्हीं द्वारों से स्वर्ग या नर्क में ले जाते हैं। गरूड़ पुराण में भी यमराज के दरबार में चार दिशाओं में चार द्वार का उल्लेख किया गया है।