பராக்கிரம பாண்டியன் என்னும் மன்னன் தன் மனைவியுடன் தீர்த்தயாத்திரை கிளம்பி காசி விஸ்வநாதரைத் தரிசித்து வந்தான். ஒரு சமயம் மன்னனின் கனவில் காசி விஸ்வநாதர் தோன்றி, தென்னாட்டிலும் தனக்கொரு ஆலயம் கட்டும்படி கட்டளையிட்டார். எந்த இடத்தில் கட்டுவது என்று மன்னன் குழம்பிக் கொண்டிருந்தான். ஒரு நாள் செண்பக வனமாக இருந்த காட்டுப்பாதையில் எறும்புகள் சாரை சாரையாகச் செல்வதைக் கவனித்தான். பராக்கிரம பாண்டியன் அதைப் பின்தொடர வழியில் ஒரு சிவலிங்கத்தைக் கண்டான். தான் கனவில் கண்ட காசிவிஸ்வநாதப் பெருமானே அங்கு லிங்கவடிவத்தில் இருப்பதாக அவன் மனதிற்கு தோன்றியது. சிவாலயம் கட்டும் திருப்பணிகளை மன்னன் மேற்கொண்டான். கோயிலைக் கட்டி முடிக்க ஆறுஆண்டுகள் ஆனது. தன் உடல், பொருள், ஆவி அத்தனையும் சிவனுக்காக அர்ப்பணித்த மன்னன் கோயிலில்,""கோயிலைக் கட்டுவது எளிது. ஆனால் அக்கோயிலைப் பராமரிப்பது அரிது. வருங்கால சந்ததியினர் அக்கறையுடன் இக்கோயிலைப் பராமரிக்கவேண்டும் என்றும், அப்படி பாதுகாப்பவர்களின் காலில், இப்போதே விழுந்து வணங்குகிறேன், என்று பாடலாக கல்வெட்டில் குறிப்பிட்டான். மதுரையிலிருந்து 155 கி.மீ., தொலைவிலுள்ள தென்காசி காசி விஸ்வநாதர் கோயிலே இது. இத்தலத்தில் காசியைப் போன்று சுவாமிக்கு "விஸ்வநாதர் என்று பெயர் இருந்தபோதிலும், விசாலமான உலகத்தை ஆளும் அம்மனுக்கு விசாலாட்சி என்பதற்குப் பதிலாக "உலகம்மன் என்ற தமிழ்ப்பெயர் சூட்டியுள்ளனர்.