建武十七年十月，光武帝以郭后“怀执怨怼”和“吕霍之风”为由，下诏废后。同时，立阴贵人为皇后。

诏三公曰：“皇后怀执怨怼，数违教令，不能抚循它子，训长异室。宫闱之内，若见鹰鹯。既无《关雎》之德，而有吕、霍之风，岂可托以幼孤，恭承明祀。今遣大司徒涉、宗正吉持节，其上皇后玺绶。阴贵人乡里良家，归自微贱。自我不见，于今三年。宜奉宗庙，为天下母。主者详案旧典，时上尊号。异常之事，非国休福，不得上寿称庆。”至此，满朝无声。

唯有崇尚忠直的太子太傅张湛，称疾不朝。光武帝强起大司徒而不得。沉默是为抗争，沉默更是为洞悉。十七年郭后既废，太子之去，还会远吗？在意志无可转移的现实面前，这位太子太傅，自毁形象，当堂便溲，自断仕途。

与此同时，太子讲师郅恽对光武帝上言道：“臣闻夫妇之好，父不能得之于子，况臣能得之于君乎？是臣所不敢言。虽然，愿陛下念其不可，勿乱大伦，使天下有议社稷者。”帝曰：“恽善恕己量主，知我必不有所左右而轻天也。”

郅恽借用司马迁的名句，即“婚姻关系的缔结，夫妇之间的相处，好的，可以兴夫旺国，不好的，可以毁家灭国”，来向光武帝表明：夫妻关系，儿子不能控制父亲的，更何况臣子对皇帝呢。所以我不敢就这样的夫妇私事发表看法。但是，希望陛下考虑这是不可以的，并且不要乱了大伦，而让天下对社稷多有议论啊。

刘秀则表示：“郅恽善于用自己的心去体谅主上的心思，他知道我一定不会有失偏颇而忽略国家大事。”

建武十七年，光武帝刘秀随机封郭后的儿子右翊公刘辅为中山王，封废后郭氏为中山王太后，居北宫，同时也对郭后的娘家进行安抚。

建武十七年，郭况徙封大国，为节侯。郭圣通从兄郭竟，以骑都尉从征伐有功，封为新郪侯，官至东海相。郭竟弟郭匡为发干侯，官至太中大夫。郭圣通叔父郭梁，早终，无子。包括郭姓的外戚女婿南阳陈茂，亦被封为南侯。

郭圣通就此从皇后的尊位上跌落下来，与此相对的则是，光武帝的微时原配，贵人阴氏终于得归正位，成为光武帝第二任皇后。

建武十七年（41年）郭皇后被废为中山太后，刘辅为中山王。改封郭氏为中山王太后，居北宫，同时，光武帝其余诸子，都同时从公爵进封王爵。

然而，谦恭聪慧的刘彊知道，他的母亲既已废位中宫，那么他作为庶子恬居储位便是于礼不合的，因此，他数次向诸王转达，要求光武帝允许自己退位藩王的请求，但是光武帝因为不愿意违背父子之情而始终不肯答允。

建武十九年六月，刘彊久处危位近危殆，接纳了讲师郅恽的建议，再度向光武帝恳求“引愆退身”，光武帝终于答应。

六月戊申，下诏曰：“《春秋》之义，立子以贵。东海王阳，皇后之子，宜承大统。皇太子彊，崇执谦退，愿备藩国。父子之情，重久违之。其以彊为东海王，立阳为皇太子，改名庄。”

从废后到换太子，时间跨度长达两年多，由废后开始，东海让位结尾。光武朝最为重大的政治局势至此终于落下帷幕。

就这样，刘彊居太子位十九年，这个以襁褓太子而成就王材的不二人选，最终不得不让天下，守

东海王刘彊，自秦吞六国，皇帝并称之后，第一个以庶子之身，谦让天下与嫡子的皇太子，更是自他开始，终结了西汉废太子不得善终的悲剧，开创了东汉王朝废太子皆保身全的难得现象。

而他恭让天下，逊而知退的美名，就此称闻于后世。史赞“谦谦恭王，寔惟三让”。在建武十九年退位藩王之后，光武帝立刻为刘彊重选官署。继续沿用河西与郑兴，卫宏等相善的杜林为王傅来辅助他。当其他王傅数被引命，或多交游，不得应召的时候，唯有杜林恪慎重守职，每召必至，因此深受光武帝的器重。

刘彊对王傅也十分尊重，以为尊师而数加馈遗，而杜林因为同时蒙受东海王，光武帝两边双重恩赐而多加拒绝。杜林之后以九卿位至三公，学者朝夕满堂，士大夫因此高慕。

自建武二十二年至二十七年（公元46-51年），光武帝又命刘昆教授皇太子、诸王、小侯五十余人，这为后世汉明帝刘庄为四姓小侯开立学校，置五经师打下了确实的基础。

建武二十八年（公元52年）六月丁卯日，郭圣通去世。光武帝将她葬在邙原之上，号为北陵。