மார்க்கண்டேயரின் ஆயுளை முடிக்கச் சென்ற எமதர்மன், தவறுதலாக சிவலிங்கத்தின் மீது பாசக்கயிறை வீசினான். கோபம் கொண்ட சிவன், பணியைச் சரியாக செய்யாத எமனின் பதவியை பறித்து சாதாரண மனிதனாக திரியும்படி சாபமிட்டார்.
பூலோகம் வந்த  எமன் விமோசனம் பெற எண்ணி மணலால் சிவலிங்கம் வடித்து பூஜித்தான். காட்சியளித்த சிவனும்  எமனுக்கு பதவி வழங்கினார்.
காலனுக்கு வாழ்வளித்தவர் என்னும் பொருளில் சிவனுக்கு ‘காலகாலேஸ்வரர்’ எனப் பெயர் வந்தது. கோயம்புத்துார் – சத்தியமங்கலம் சாலையில் 20 கி.மீ., துாரத்தில் உள்ள கோயில்பாளையத்தில் கோயில் உள்ளது. இங்கு வழிபட்டவருக்கு  இழந்த பதவி கிடைக்கும்.