建武九年（33年），郭皇后已经完全失宠，被刘秀疏远。尚书令申屠刚在任期间多次谏言让郭圣通所生的太子刘疆就东宫，却被刘秀拒绝，并最终把申屠刚贬黜出京。

建武十三年（37年），蜀地平定后，刘秀大封功臣外戚，但其中却不包括郭圣通的外戚族人，其弟郭况直到建武十四年（38年），才升任城门校尉。

建武十五年（39年），阴氏和刘秀的母族樊氏增封，却没有包括郭圣通的弟弟郭况。而刘秀封皇子为公，阴丽华的长子刘阳封东海公，东海国据二十三县，为诸子之中最大的。郭圣通因为日渐失宠，她的外戚也始终不像阴家兄弟那样受到刘秀的亲信和重用，因此越来越对刘秀感到怨恨和不满。

建武十六年（40年），刘秀度田，收到一片简牍，写到“颍川、弘农可问，河南、南阳不可问”，东海王刘阳在朝堂上当众揭露，这是因为”河南帝城，多近臣，南阳帝乡，多近亲，田宅逾制，不可为准。“刘秀由此加大了度田的核查，并杀了十余个郡守。在平定了度田引发的叛乱之后，刘秀将叛乱的魁帅严厉处罚，迁往他地，度田成为东汉定制，社会恢复了安定，形成了牛马放牧，邑门不闭的大好局面。

而刘秀在经过“退功臣进文吏”，削弱了朝堂上功臣的影响力，让他们安享富贵，不过逢年过节入朝觐见而已。又经过“虽置三公，事归台阁”极大的加强了皇权，将权柄牢牢握于手中。

经过度田，打击了地方豪强势力，在度田中杀了不少郡守，震慑了朝堂，在执政风格上“严猛为政”，做到了“总揽权纲”，此时他已经能够控制废后易储，国本动摇造成的政治影响。

建武十七年（41年），也就是在天下平定四年之后，光武帝决定废皇后郭圣通，立贵人阴丽华为后。刘秀认为她心怀怨恨，对她性情的评价是像“鹰鹯”、无后妃之德，认为她在自己死后不会善待阴丽华母子；而阴丽华是原配，与自己情深意重，应该侍奉宗庙，居国母之位。

因此在国家政局稳定之后，便开始行废立之事。西汉废后之后立新后，间隔少则半年，多则两年，但因郭圣通生有五个嫡子，郭圣通被废之后，刘疆仍然可以以长子身份合法居于太子位之上。为了解决这个问题，刘秀将废立皇后同时进行。并强调因皇后失德而导致中宫异位，进而致使国本动摇，是异常之事，不是国家之福，因此不得庆祝。将废后引起的政治动荡减到了最小。

教导太子读书的郅恽小心翼翼的在大殿之上替郭圣通说了一些劝谏刘秀的话。他说：“臣听说夫妇之间的感情，连儿子都无法干涉父亲，何况臣下怎么能干涉君王呢，这是臣下不敢说的。即便如此，希望陛下衡量事情轻重，不要违背父子人伦，不要让天下人横加议论，刘秀说：“郅恽善于用自己的心去体谅主上的心思，他知道我一定不会有失偏颇而忽略国家大事。”这里，刘秀说郅恽最能体谅自己，并保证以后不会因此影响轻慢国家大事。

君臣父子乃人之大伦，鉴于西汉易储多次发生父子相残的惨剧，郅恽最担心的也是这种事情在皇廷重演，于是用武丁、尹吉甫这等贤君名臣因娶后妻，放逐前妻之子的例子，劝刘疆主动让位。

郭圣通因过失远远小于前代废后，在被废之后即被封为中山王太后，移居皇宫北宫居住。刘秀给了郭氏一个“王太后”的身份而不是将她废为庶人，并且给其娘家诸人封侯，赏赐他们大批金钱，亲自莅临郭府，后来又给郭圣通的儿子们增封。一来，郭氏家族在刘秀即位之初有从龙之功，身为外戚谨慎小心十余年，郭圣通也诞育皇家子嗣，对皇室宗族有功，行为上并无严重过失，刘秀是历史上著名的善待功臣、心胸宽广之人，甚至自己杀兄仇人更始帝的三个儿子都册封为侯，自然会对郭圣通和郭家格外厚遇，二来他接受了郅恽的进谏，尽量减少废后异储的负面影响，做到“无令天下有议社稷”。

诏书一下，导致郭圣通所生的长子刘疆一下子由嫡长子变成了庶长子，而刘阳则由庶子变成了嫡长子。此时嫡庶异位，他在太子位上便名不正言不顺了。刘疆因此十分不安，听从了郅恽的建议，多次上书表示要让出太子之位。