बता दे कालिका माता मंदिर की स्थापना रतलाम राज परिवार के समय हुई थी। करीब 400 से अधिक वर्ष पुराने इस मंदिर के करीब ही काल भैरव मंदिर, भूखी माता मंदिर, अन्नपुर्णा मंदिर, झूलेलाल भगवान का मंदिर के साथ-साथ संतोषी माता का मंदिर भी है। इस मंदिर के बारे में बताया जाता है कि जो भक्त यहां आकर स्वयं की रक्षा करने, दुश्मन पर विजय दिलाने की बात मांगता है उसके लिए माता स्वयं अपने गण को भेजकर रक्षा करती है।
अष्टकोणिय तालाब है भारतीय तंत्र में अष्टकोणिय तालाब का महत्व है। इस मंदिर के करीब ही झाली तालाब है। ये नाम रतलाम की महारानी झालीदेवी के नाम पर हुआ है। इस तालाब के बारे में कहा जाता है कि तंत्र आराधना के साथ-साथ विशेष पूजन के लिए ये काफी महत्वपूर्ण है। इस तालाब किनारे अक्सर संत समुदाय बैठकर माता की आराधना करते हुए नजर आते है। इसके अलावा इस तालाब के अंदर से रतलाम राजमहल में जाने के रास्ते के बारे में भी बताया जाता है।
सुबह 4 बजे से मंदिर में कालिका माता के दर्शन के लिए भक्त उमड़ रहे है। मंदिर के पुजारी के अनुसार नौ दिन तक तो भक्त आते ही है, इसके अलावा पूरे वर्ष यहां पर चहल-पहल बनी रहती है। मंदिर में अन्नक्षेत्र भी चलता है। इसमे सुबह व शाम को निराश्रित व्यक्तियों को भोजन कराया जाता है।