தேவலோகத்தின் தலைவரான இந்திரனின் வாகனம் ஐராவதம் என்னும் யானை. இது தனக்கு வழங்கப்பட்ட பிரசாத மாலையை தரையில் வீசியதால் சாபத்திற்கு ஆளானது. அதில் இருந்து விடுபட காளையார் கோயில் சொர்ண காளீஸ்வரரை யாருக்கும் தெரியாமல் வழிபட்டு வந்தது. ஒருநாள் பக்தர் ஒருவர் யானை வழிபடுவதை பார்த்து விடவே, சாப விமோசனம் பறிபோனதே என வருந்தியது. தன் தலையால் பூமியை முட்டி முட்டி பள்ளத்துக்குள் புதைந்து பாதாள உலகை அடைந்தது. அந்த பள்ளத்தில் தண்ணீர் பெருகி தெப்பம் உண்டானது. யானை முட்டியதால் இந்த இடம் ‘யானைமடு’ எனப் பெயர் பெற்றது.  

  இத்தலத்திற்கு கானப்பேரையில், திருக்கானப்பேர்,  தலையிலாங்கானம், சோமநாத மங்கலம், பிரம்மபுரி, அகத்தியர் ேஷத்திரம், தட்சிண காளிபுரம், ஐராவத ேஷத்திரம், அஞ்சினால் புகலிடம், ஏறையூர் என்னும் பெயர்கள் உண்டு. சிவனடியாரான சுந்தரர் இங்கு வந்த போது ஊர் எல்லையில் இருந்து கோயில் வரை சிவலிங்கம் இருப்பதை அகக்கண்களால் உணர்ந்தார். தன் கால்களை மண்ணில் மிதிக்க தயங்கிய போது காளை வாகனத்தை அனுப்பி சிவன் வரவழைத்தார். அதனால் ‘காளையார்கோயில்’ என்றானது.   

ராவணனைக் கொன்ற பாவத்தால் ராமருக்கு பிரம்மஹத்தி தோஷம் ஏற்பட்டது. இதில் இருந்து விடுபட இங்கு நீராடி சிவனை வழிபட்டார். கோயிலுக்குள் இருக்கும் தீர்த்தம் சிவகங்கை தீர்த்தம் எனப்படுகிறது. பொதுவாக கோயிலில் ஒரு மூலவர், ஒரு அம்மன் சன்னதி மட்டுமே இருக்கும்.  ஆனால் இங்கு மட்டும் சிவனும், அம்மனும் மூன்று வடிவங்களில் உள்ளனர். சோமேஸ்வரர் - சவுந்திரநாயகி. சொர்ண காளீஸ்வரர் - சொர்ண வள்ளி, சுந்தரேஸ்வரர் – மீனாட்சி சன்னதிகள் இங்குள்ளன.  

ஏழாம் நுாற்றாண்டில் மதுரையை ஆட்சி செய்த வரகுண பாண்டியன் இங்கு மீனாட்சி சுந்தரேஸ்வரர் சன்னதியை ஏற்படுத்தினார். இங்குள்ள கோபுரத்திலிருந்து பார்த்தால் மதுரை மீனாட்சி அம்மன் கோயில் கோபுரம் தெரியும் விதத்தில் கட்டிட அமைப்பை உருவாக்கினார். இங்குள்ள பெரிய கோபுரம் மருதுபாண்டிய மன்னர்களால் கட்டப்பட்டது. இதன் மீது ஏறினால் மதுரை மீனாட்சி அம்மன் கோபுரம் அந்த காலத்தில் தெரியும் என்கின்றனர்.

 யானைமடு தீர்த்தம், அக்காமடு தீர்த்தம், தங்கச்சிமடு தீர்த்தம் என்னும் மூன்று தெப்பங்களில்  தீர்த்தம் எடுக்கப்பட்டு சிவன், அம்மன்களுக்கு அபிஷேகம் செய்யப்படுகிறது. மருது சகோதரர்களை கைது செய்யாவிட்டால் இங்குள்ள 155 அடி உயரம் கொண்ட பெரிய கோபுரம் தகர்க்கப்படும் என ஆங்கிலேயர் அறிவித்தனர். அதன் பின்னரே அவர்கள் கைதிகளாக பிடிக்கப்பட்டு துாக்கில் இடப்பட்டனர். கோயில்களை பாதுகாக்க மன்னர்கள் உயிரையும் தியாகம் செய்தனர் என்பதை வரலாறு நமக்கு உணர்த்துகிறது.  

இக்கோயிலின் தலவிருட்சம் வெள்ளை நிற பூக்கள் கொண்ட மந்தாரை மரம்.  இரட்டையாக விரியக்கூடிய இலைகள் கொண்ட இந்த சிறு மரங்கள் கொக்கு நிற்பது போல பூக்கள் பூப்பதால்  கொக்கு மந்தாரை எனப்படுகின்றன. பாகினியா அகுமினேட்டா என்பது இதன் தாவரவியல் பெயர். பேபேசியே குடும்பத்தைச் சார்ந்த இந்த மரங்கள் மூலிகையாகவும் வீடுகளில் அலங்கார செடியாகவும் வளர்க்கப்படுகின்றன. இதன் வேர், பட்டைகள் தைராய்டு குறைபாடு, கட்டி, கழலை, உடல் வீக்கம் போக்கும் மருந்தாக பயன்படுகிறது. மந்தாரை வேர், பட்டை சூரணம் கருப்பை கட்டிகள், தைராய்டு குறைபாடுகளை போக்கும்.  

அகத்தியர் பாடல்

மந்தாரப் பூகுளிர்ச்சி மன்னர் வசியமுமாம்
செந்தா மரைத்திருவே! செப்பக்கேள் - மந்தாரங்
கண்ணுக்கு மாகுளிர்ச்சி காணுங் கொதிப்பகற்றும்
மண்ணில் நறும் பூவெனவே வை.

மந்தாரைப்பூ குளிர்ச்சி மிக்கது. இதனுடன் நாட்டு சர்க்கரை சேர்த்து சாப்பிட மலச்சிக்கல் தீரும்.  தைலமாக தலையில் தேய்த்து குளித்தால் கண்கள், உடல் குளிர்ச்சி பெறும். இதன் பூமொக்கை கஷாயமாக்கி குடிக்க இருமல், ரத்தமூலம், ரத்தப்போக்கு மறையும். பட்டையை கழுநீருடன் சேர்த்து அரைத்து பற்று இட்டால் கட்டிகள் கரையும்.

உடல் பருமனை குறைக்கும் மந்தாரை மரத்தை தலவிருட்சமாகவும், காளையை நினைவுபடுத்தும் காளீஸ்வரரை மூலவராகவும், பாவங்களை போக்கி மோட்சம் தரும் ஆன்மிக தலமாகவும் இக்கோயில் உள்ளது.