குழந்தையானந்த சுவாமிகள் மதுரை மீனாட்சியின் அருந்தவப்புதல்வர். 1627ல் மதுரையை அடுத்த சமயநல்லூரில் அண்ணாஸ்வாமி சர்மா, திரிபுரசுந்தரி தம்பதியினர் வசித்து வந்தனர். இவர்களுக்கு குழந்தைச் செல்வம் இல்லை. இருவரும் மதுரை மீனாட்சி கோயிலுக்கு வந்தனர். திரிபுர சுந்தரி மனமுருகி பிரார்த்தித்தார். அம்மா, மீனாட்சி ! கிளி ஏந்திய காரிகையே ! எங்களுக்கு குழந்தை பிறந்தால், அதை நாங்கள் கூட வளர்க்க பிரியப்படவில்லையம்மா ! நீயே வைத்துக் கொள். குழந்தை பிறந்ததும், உன் பாதத்தில் விட்டு விடுகிறோம். நீயே அந்தக் குழந்தைக்கு தாயாக இரு, என கண்ணீர் விட்டு மனமுருகி வேண்டினார். ஒன்றுக்கு இரண்டாக இரட்டை குழந்தைகளைக் கொடுத்தாள். பாதங்களில் சங்கு சக்கரங்களுடன் பிறந்த மூத்த குழந்தையை தாங்கள் வேண்டியபடி அன்னை மீனாட்சியிடம் ஒப்படைத்தனர் அந்த தம்பதியர். ஒரு குழந்தையை தாங்கள் வளர்த்தனர். கோவிலுக்குள் வந்த குழந்ததைக்கு பாலுட்டி சீராட்டி, உயரிய மந்திரத்தை உபதேசித்து, தாயாக, தந்தையாக, குருவாக இருந்து வளர்த்தாள் மீனாட்சி. கோயிலில் வளர்ந்த குழந்தையை குழந்தைசாமி என பக்தர்கள் அழைத்தனர்.

குழந்தைசாமியின் 16ம் வயதில் அவரது தந்தையும் தாயும் அம்பாளின் திருவடியை அடைந்தார்கள். இதன்பின் வட திசை நோக்கி பயணமானார் குழந்தை சுவாமி. காசி சென்று அங்கே திரைலிங்க ஸ்வாமிகள் என்ற பெயருடன் கடுமையாக தவம் செய்து நிர்விகல்ப சமாதியில் 150 ஆண்டு காலம் காசிநிவாசியாக அருள் பாலித்தார். பின் கங்கை கரையில் சமுத்திரகூடம் என்னுமிடத்தில் உள்ள குகையில் நீண்ட காலம் தவமிருந்தார். (இந்த குகையைத்தான் பின்னாளில் சுவாமி விவேகானந்தர் கண்டு பிடித்து இந்த இடத்தில் தவம் இருந்து விஜய யாத்திரையை ஆரம்பித்தார்.) பிறகு கைலாய மலையிலும், மகாமேரு சிகரத்திலும் அமர்ந்து அருள்பாலித்தார். மானஸரோவர், கங்கோத்ரி, அமர்நாத், கேதார்நாத் ஸ்தலங்களில் நிர்விகல்ப சமாதியில் நீண்ட நாட்கள் இருந்திருக்கிறார். கஜானந்தேந்திர சரஸ்வதி என்ற திருநாமத்துடன் இமாலயத்திலுள்ள ஆதிசங்கர பீடத்தை அலங்கரித்தார். நூறு ஆண்டுகளுக்கு ஒரு முறை தென் தேசத்திற்கு விஜயம் செய்து மக்களுக்கு அருள்பாலித்துள்ளார். மதுரையை அடுத்த சித்தாலங்குடி என்ற கிராமத்தில் குழந்தை சித்தராய் தங்கி, பல சித்துகள் செய்து சமாதி அடைந்து மீண்டும் வெளியே வந்து வேறொரு இடத்தில் தோன்றியருளினார். சித்தாலங்குடியில் ஒவ்வொரு ஆண்டும் ஆவணி மாதம் 4,5,6 தேதிகளில் குருபூஜை சிறப்பாக கொண்டாடப்படுகிறது.

திருநெல்வேலி மாவட்டம் தென்காசி கன்னிமாரம்மன் கோவில் தெருவில், கதிர்வேலப்பர் என்ற திருநாமத்துடன் சமாதியடைந்து அருள்பாலித்து வருகிறார். இங்கு ஒவ்வொரு ஆண்டும் ஆவணி ஆயில்ய நட்சத்திரத்தில் குருபூஜை கொண்டாடப்படுகிறது. இதன்பிறகு காசியில் அவதரித்த ஸ்வாமிகளை ராமகிருஷ்ண பரமஹம்சர் நேரில் தரிசித்து, இவர் தான் உண்மையான பரமஹம்சம் என போற்றி புகழ்ந்தார். குழந்தையானந்தர் காசியில் தங்கியிருந்த காலத்தில் விஸ்வநாதர் கோயிலையும், காலபைரவர் கோயிலையும் சிறப்பாக பராமரித்தார். 1887ல் காசியில் தன்னை ஒரு பெட்டியில் வைத்து கங்கையில் விடுமாறு தன் சீடர்களுக்கு கட்டளையிட்டு, அப்பெட்டியுடன் தென்னகத்தில் திருவண்ணாமலை, சுருளி ஆகிய இடங்களில் தோன்றி பக்தர்களுக்கு நீண்ட காலம் அருள்பாலித்தார். 1919ம் ஆண்டு மதுரையிலிருந்து வத்தலக்குண்டு சென்றார். அங்கு தனக்கு தன் சீடர் மூலம் ஒரு கோயிலை நிர்மாணித்தார். அதேபோல் மதுரை காளவாசல் அருகே உள்ள கோயிலில் சமாதி அடைந்தார். தான் சமாதி ஆகும் போது வழக்கமாக செய்யகூடிய சடங்குகள் ஏதும் செய்ய வேண்டாம் என்று கூறிய சுவாமிகள், அங்கிருந்து வத்தலக்குண்டில் தனக்காக எழுப்பப்பட்ட கோயிலில் எழுந்தருளினார். இப்படி ஒவ்வொரு கால கட்டத்திலும் அவதார புருஷராக அவதாரம் எடுத்து சமாதி நிலை அடைந்து பக்தர்களுக்கு அருள்பாலித்து வருகிறார் குழந்தையானந்த சுவாமிகள்.