கோயில் கட்டுவதற்கு பக்தர்கள் பணம் செலவழிப்பது சகஜம். ஆனால், திருநாங்கூரில் உள்ள செம்பொன்செய் கோயிலைக் கட்ட ராமபிரான் பொருளுதவி செய்ததாக தலவரலாறு கூறுகிறது. இலங்கையில் சீதையை மீட்ட ராமபிரான், அயோத்தி செல்லும் வழியில் இங்கு வசித்த த்ருடநேத்திரர் என்ற முனிவரின் ஆசிரமத்தில் தங்கினார். அவர் ராமனிடம், அந்தணர் ஒருவர் பெருமாளுக்கு கோயில் கட்ட விரும்புவதாகவும், அவருக்கு தங்கத்தால் ஒரு பசு செய்து, தானமாக கொடுக்கும்படியும் கூறினார். ராமரும் அவ்வாறே செய்தார். அந்த பசுவை விற்ற பணத்தில் அந்தணர் இங்கு கோயில் எழுப்பினார். எனவே, கோயில் செம்பொன்செய் என்று அழைக்கப்பெற்றது. இந்த கோயிலில் காட்சி தரும் பெருமாள் செம்பொன்ரங்கர் என்று அழைக்கப்படுகிறார்.