虽然桓温回到姑孰风流快活去了，但留在建康城内的司马昱却并不轻松。在海西公司马奕被废的前一个月，火星进入太微星座，一个月后海西公就被废黜，而到了咸安元年的十二月二十七日，火星再次逆行进入太微星座，一直到第二年的三月还没有退去。对此天文现象，司马昱在内心当中感到十分忧惧。

据《世说新语﹒言语》记载，当时，桓温的亲信郗超已经被提升为中书侍郎，正在中书省值班，简文帝将他召入，想从他那里打探一下桓温方面的消息，他对郗超说：“上天赋予的命运是长是短，当然不是我所能考虑的。只是还会不会发生近日的废立之事呢？”郗超安慰他说：“大司马正要对外巩固国防，对内安抚社稷，肯定没有废立的打算。臣愿意以我全家老小的身家性命为陛下作担保。”听了郗超的话后，司马昱似乎感到郗超这个他的前马仔是可以被感化的，于是，他随口吟咏着庾阐的两句诗：“志士痛朝危，忠臣哀主辱。”声音显得非常的悲怆苍凉。

不久，郗超请假回乡看望父亲郗愔，司马昱还特意对郗超嘱咐道：“请向令尊转达：国家的局面，竟然到了这步田地。全是因为我没有能以正道来匡扶，想方设法来防患于未然所致。我深深地惭愧叹息，难以用言语表达！”说完，眼泪沾满了衣衫。此时，身位镇军将军、会稽内史、都督浙江东五郡军事的郗愔，已经是东晋帝国境内不多的桓温色彩不浓的地方军政长官了，可是，即使是郗愔能够完全明白司马昱的心意，但如果桓温真有废立甚至自立的打算，这“醉心于黄老之术”的郗愔又能怎么样呢？

那么，在桓温的这一边，他到底有没有篡位的想法呢？如果说已经权倾天下的桓温就连一点篡位的想法都没有，那是任谁也不会相信的，毕竟他说过“作此寂寂，将为文、景所笑！”这样的话，可是，如果说他的篡位意图非常的强烈，那也与事实不符。作为一个赌博高手，桓温无时无刻都在盘算着自己在政治上的风险与收益比。在桓温的内心当中，要把自开国以来一直羸弱不堪的东晋皇室一把推翻其实并不困难，难的是不流血的改朝换代。现在的各大士族高门对于一个弱势的晋室的存在是感到满意的，因为这样一个体制的存在非常有利于保障他们的既得利益，他们都想把现存的体制一直地延续下去。如果桓温一意打破既有的政治平衡，他们桓家就会成为各大士族高门的公敌。别看现在桓温已然控制了荆、江、徐、豫等各个非常重要的地盘，但就是在这些地区里面，也随处可见各大豪门贵族的影响，一旦双方的矛盾激化，前秦的军事力量自然就会坐收渔人之利，这是桓温极其不愿意见到的局面。因此，在完成了废立的大事之后，桓温宁愿选择回到姑孰的军府去遥控政局，也不愿意呆在建康加深双方已经对立的矛盾。

就在此时，一件意味深长的事情发生了。据《建康实录》记载，殷浩的故吏、顾恺之的父亲顾悦之上书简文帝，请求给死去的殷浩恢复本官。虽然顾悦之曾为殷浩的下属，但他的儿子、大画家顾恺之却是桓温的大司马参军，“甚见亲昵”。桓温曾说他：“恺之身体内狡黠与憨痴各半，合在一起，正好持平。”因此，世人称其为三绝：才绝、画绝、痴绝。而在殷浩的儿子殷涓刚刚被诛灭，顾恺之的父亲顾悦之就提出了给殷浩恢复本官的动议，如果这件事情没有预先问过桓温的态度，顾悦之敢这样cao作吗？结果是顾悦之不但上书了，而且还把这件事做成了，由此看来，桓温在这个时候是想安抚东晋各大士族的紧张情绪的。给已经死去多年的殷浩恢复官职，那完全是做给活人看的。

此时，桓温留在建康的代言人郗超因为桓温的缘故，也变得炙手可热起来，前去与他套近乎的人是络绎不绝。吏部尚书谢安和左卫将军王坦之曾经去拜见郗超，一直等到天色已晚，却仍然没有轮到被郗超接见，王坦之就想回家了，谢安却说道：“难道就不能为了性命，再多忍耐片刻吗！”尽管求见郗超的人很多，可是这王坦之和谢安是什么人呐，难道郗超一点也不在乎吗，他在这个时候突然耍起大牌，估计也是在试探这两人的一种手段。

咸安元年三月廿五日，简文帝派侍中王坦之征召桓温入朝为相，并增封邑万户，司马昱诏令说：“天地结合，生成万物；二人同心，便无需考虑各自的利益。古代圣王全仰仗忠臣辅佐，姬旦德布四方，周朝便因此兴隆；伊尹师法皇天，商朝便得到文明教化。大司马贤德圣明，光大深远，上合天意，才华横溢，肩负国家重任，忠心辅助我一人，功德超过霍光，道德永存后世。现在晋封你做丞相，保留原大司马一职，请你留在京都，镇守社稷。”

不过，桓温又一次推辞了，并上诏说，西府（豫州）经历了袁真的变故，军费不足。朝廷便给桓温的世子豫州刺史桓熙布三万匹，米六万斛，又任命桓熙的弟弟桓济为给事中。

回到姑孰后的桓温，得以在三年后与才三岁多的庶子桓玄重新相见。这桓玄是袁真送给桓温的妾侍马氏所生，据说在某一个月色明朗的夜里，马氏和桓温的其他小妾们坐着聊天，突然，一颗流星从天而降，坠落到她们面前装着水的铜盆之中，像一颗二寸大的小火珠那样在盆中跳跃闪烁，晶莹发亮。这群美女们惊呼着好漂亮啊！都争着上前用瓢舀起来看。马氏正好舀到了，她不自觉地放到嘴边喝下，一股暖流传遍全身，肚子里似乎一动。不久之后，她就怀孕了，生桓玄的时候，光芒耀亮了整个屋子。算命的人掐指一算，说：“此儿生有奇耀，宜目为天人。”并为其取了个小名“神灵宝”。桓温嫌他取的名字有三字，便自作主张减去了“神”字，从小唤他做“灵宝”。

话说桓温重新见到这小灵宝后，一股舔犊之情油然而生，偏偏这个桓灵宝生得是如此的乖巧可爱，桓温在姑孰大病一场之后，倍觉应珍惜自己有限的生命，恨不得今后天天含饴弄子，颐养天年。这时的桓温已经俯首甘为孺子牛，无论是流芳百世或者遗臭万年的雄心壮志都暂时抛于脑后了，更提不起兴趣到京城去坐班上朝了。

夏四月，朝廷迁徙海西公到吴县的西柴里，命令吴国内史刁彝防卫他，又派遣御史顾允负责监察。

七月底，晋简文帝身体突然感到不适，因为桓温是录尚书事，辅政大臣，就急忙召大司马桓温入朝商议自己的身后之事，诏令里说：“吾遂委笃，足下便入，冀得相见。便来，便来！（我将不久于人世，足下速来，希望能够相见。快来，快来！）”他怕桓温耽搁，在一日一夜里连发了四道诏书，但是桓温却没动身前去建康的打算，他正在斟酌一份上疏，疏上说：“听说圣体不和，已经好几天了。愚臣心里惶恐，又无所寄托情思。身体的盛衰是常事，过分防备也没有害处。所以汉高祖重病时，吕后问他谁该为相。汉武帝身体不适时，托孤给霍光。哭着询问身后的事情，是因为事关重大。如今皇子年幼，而朝廷大臣中贤良有时誉的，只有谢安和王坦之，而他们的才识智慧都在圣上的明鉴之下。内辅幼君，外御强寇，实在是大家最关心的事情，然而也是可以理解的。陛下尽可以便宜行事，授命给他们，让大臣们有所寄托，而谢安他们也一定会竭尽全力，这样对公对私都很适宜。至于臣桓温，我已经位兼将相，加上陛下对臣像平辈一样的眷顾，只是臣已经老朽年迈，况且多病，担心维持不了太久，所以的确不胜任陛下托付的后事。”然而桓温的上疏还没来得及上奏，晋简文帝就去世了。

《晋书》的作者一口咬定桓温有篡位之心，但除了他废立皇帝的举动外并没有其他任何的事实证明。而对于桓温在简文帝病重的这个异常重要的时刻的表现却不作任何的评论。其实从常理上来判断，如果桓温真有篡位之心，趁这简文帝病重弥留的时候，正是他施展篡位行动的最佳时机，面对着这软弱一生的司马昱，在他临终前再威逼一下，这篡位成功的机会不小。可是，就在这临门一脚的关键时刻，桓温却表现得很淡然，根本没有表现出以往行动力极强的性格特点来。因此，桓温在上疏中所言的倒是有几分值得相信的，那就是桓温在连续三年的在精神上高度紧张的一番折腾下来之后，其身体的元气透支很大，回到姑孰之后精神一放松，就大病了一场。一个人在这种老病交困的情况下，再高的雄心壮志都会随之而消磨一空的。同时，桓温因为老年得子，其对桓玄的宠溺远远超过了他前面的几个儿子。他在小灵宝的身上寄托了自己无限的希望。

在接到司马昱要求其上京托孤的诏令后，桓温的内心也是不无挣扎的，他何尝不知道这时正是他篡位的最佳良机，可是，自从成功地进行了皇帝的废立之后，他的心境已经起了不少的变化，他过往对朝廷的种种积怨也随着这次令他大伤脑筋的废立行动的实现而消解了大半，另外，以他对自己的身体建康状况的判断，他感觉到自己能够存活于这世上的时日也已经不多了，就算自己能够篡位成功，这天下又能够交给谁呢？他左思右想，反复盘算，但是，在他的心目中，根本上就连一个有承继大业潜质的亲人都点算不出来。最后，他叹了一口气，说了句：“世事皆有天定，至于我自己，还是算了吧！”

桓温深深地知道，自己的权势到了今天的这个地步，篡位不过就是举手之劳的事情，可是篡位之后要能够保得住这江山那才有意义，在前秦政权虎视眈眈的局面下，若是太过强求，整个国家可都得陪着一起崩盘的，虽然他也讲过一些“男子不能流芳百世，亦当遗臭万年”这样的狠话，但这其实更象是夜行人吹哨子——给自己壮胆，其实在桓温那看似强硬的内心里面，还是保留了不少的历史责任的担当的。他从自己以往的经历里面总结出一条血的教训：任何人的能力都是有边界的，如果一旦一个人的理想已经超出了自己能力的界限还一味的用强，那么其后果一定是灾难性的。大病一场之后，桓温再也不想将事情做绝，他觉得自己现在唯一想做的事情，就是趁着自己在这世上还有些许的时光，怎样才能好好地陪伴一下这可爱至极的小灵宝。于是，就有了这样一个回复的司马昱的奏章。