மார்க்கண்டேயனின் ஆயுளை முடிக்க சென்ற எமதர்மன், தவறுதலாக சிவன் மீது பாசக்கயிறை வீசினான். கோபம் கொண்ட சிவன், பணியைச் சரியாக செய்யாத எமனின் பதவியை பறித்து, சாதாரண மனிதனாக திரிய சாபமிட்டார். பூலோகம் வந்த எமன் விமோசனம் பெறுவதற்காக ஓரிடத்தில், மணலால் லிங்கம் செய்து வழிபட விரும்பி ஒரு குச்சியால் தரையை தோண்டினான். அப்போது, நுரை பொங்கியது. மணலையும், நுரையையும் சேர்த்து லிங்கம் பிரதிஷ்டை செய்தான். அவனுக்கு காட்சி தந்த சிவன், பறிக்கப்பட்ட எமலோக தலைவன் பதவியை மீண்டும் கொடுத்தார். காலனுக்கு (எமன்) காலம் (வாழ்க்கை, பதவி) கொடுத்தவர் என்பதால் இத்தலத்து ஈசன், காலகாலேஸ்வரர் எனப்படுகிறார். மணல் லிங்கம் என்பதால், இவருக்கு அபிஷேகம் கிடையாது. இத்தலம், கோயம்புத்தூர்–சத்தியமங்கலம் சாலையில் 20 கி.மீ., தூரத்தில், கோயில்பாளையம் உள்ளது. ஆயுள் நீடிக்கவும், இழந்த பணியைப் பெறவும் இவரை வணங்குவர். இங்குள்ள வில்வ மரத்தில் காய்க்கும் காய்கள் உருண்டையாக இல்லாமல் லிங்க வடிவில் இருக்கும்.