சீதையை மீட்க உதவிய விபீஷணனுக்கு, தான் பூஜித்த ரங்கநாதரை தந்தார் ராமன். இலங்கை திரும்பிக்  கொண்டிருந்த விபீஷணன், வழியில் காவிரியைக்கண்டான். அது சுழன்றோடிய அழகு கண்ட விபீஷணன் சுவாமியை கீழே வைத்துவிட்டு நீராடினான். பின்பு, அவன் சிலையை எடுக்க முயன்றபோது முடியவில்லை.  தர்மவர்மா என்ற மன்னன், இங்கே  தங்கிய ரங்கநாதருக்கு கோயில் எழுப்பினான்.