北宋亡國后，金兵進(jìn)駐宋陵，為掠奪也為報復(fù)，他們對宋皇陵進(jìn)行了毀滅性的盜掘。一時間掘墓開棺，煙火彌漫，陵區(qū)內(nèi)尸骨遍地，一片狼藉。偏居臨安的南宋皇室聽說祖墳被劫掠，悲痛萬分。宋高宗趙構(gòu)飭令河南鎮(zhèn)撫使翟興父子及岳飛等大將帶兵趕往鞏縣迎戰(zhàn)金軍。金軍被驅(qū)趕出宋陵，南宋皇室派人修葺陵寢，但是宋軍一撤，金兵又來，并進(jìn)行更大的報復(fù)。三京淮北宣諭使方庭碩奉旨到鞏縣謁陵，親眼看到往昔威嚴(yán)肅穆的皇陵禁地，如今已是亂草叢生，甚是凄涼，他親眼看到永泰陵哲宗的尸骨竟然暴露在光天化日之下，只能脫下自己的衣服把尸骨包裹起來。南宋高宗趙構(gòu)聽說后憤懣至極，不覺凄然淚下，但又無可奈何。

宋高宗趙構(gòu)逃跑時在揚(yáng)州受了驚嚇，失去了生育能力，唯一的獨(dú)子又在苗劉之變后死去，而英宗系的后人，則在靖康之變后基本被金人一網(wǎng)打盡，全部押往北方。更有出使金國的使臣回來說，金太宗長像酷似宋太祖，傳說太祖要回來奪皇位。于是高宗便傳話說，太祖大公無私，有子卻將皇位傳給弟弟，其后人衰微，朕準(zhǔn)備將皇位傳給太祖的后人。于是從太祖的后人中選拔出一胖一瘦兩個小孩，即同為宋太祖趙匡胤七世孫的趙伯玖和趙伯琮。因為胖小孩趙伯玖是宋高宗趙構(gòu)所寵愛的皇后吳芍芬收養(yǎng)的，宋高宗一度較中意于他。有一次，宋高宗趙構(gòu)將趙伯琮和趙伯玖召入皇宮談話，恰巧此時闖進(jìn)一只貓，皇宮大內(nèi)禁衛(wèi)森嚴(yán)竟然會出現(xiàn)這樣的情況，只能解釋為高宗趙構(gòu)有意為之。瘦小孩趙伯琮表現(xiàn)淡定，但胖小孩趙伯玖卻玩性大起，伸腳去踢了貓一下，動作極其粗魯。趙伯玖這一腳徹底葬送了宋高宗趙構(gòu)原本對他好感。從此趙伯玖開始坐起了冷板凳。而瘦小孩趙伯琮則被留在宮中，后改名趙昚。而他最終被冊立為太子是在被收養(yǎng)于后宮的二十年后。

宋高宗趙構(gòu)收養(yǎng)趙伯琮（趙昚）和趙伯玖（趙璩）之時年僅三十一歲，因此對于自己未來能否生育仍心存幻想。于是千方百計求醫(yī)問藥，祈禱神靈，并不急于確立趙伯琮的皇儲地位。后來趙構(gòu)年事逾高，對自己的生育能力終于開始絕望，開始采取各種方式考察他們。

據(jù)說趙伯琮在資善堂讀書之時，曾偶然遇到了入朝奏事的岳飛，岳飛本身也是一個父親，見到這個十來歲聰慧可愛的男孩，極有好感，感嘆地說：“中興基本，其在是乎！”