சிதம்பரம் நடராஜர் கோயிலுக்கு அருகில் அமைந்துள்ளது தில்லைக் காளி கோயில். வழக்கமாக, எல்லா கோயில்களிலும் துர்கை, காளிக்கு மஞ்சள் அல்லது சிவப்பு நிறத்தில் புடைவை அணிவிப்பார்கள். ஆனால், இக்கோயிலில் வெள்ளைப் புடைவையை காளிக்கு அணிவிக்கிறார்கள். மேலும், காளியின் திருமேனியில் எப்பொழுதும் எண்ணெய்க் காப்பிடப்பட்டிருக்கிறது. காளி எப்பொழுதும் உக்கிரமாகத் திகழ வேண்டுமாம். இதனால் தீய சக்திகள் அழியும் என்பது ஐதீகம். தவிர, பெண் உருவில் தட்சிணாமூர்த்தி மற்றும் நின்ற கோலத்தில் வீணை ஏந்திய சரஸ்வதியையும் இங்கு தரிசிக்கலாம்.