郗超离开姑孰后不久，与桓温感情最好的弟弟、江州刺史桓冲前来探望大哥了。桓温便向他交待了自己的一些后事安排。

桓冲顺便问大哥对于谢安和王坦之应该如何处置。桓温回答说：“这二人不是你所能安排的人。”他清楚地知道谢安和王坦之二人都曾经对自己使过坏，但是，他们站在自己的立场上这样做也没有什么不对。如果使用武力将此二人诛杀，不过就是吹灰之力而已，但是这样对桓冲乃至整个桓氏家族并没有什么好处，而且还给弟弟留下了诛杀朝廷贤臣的恶名。桓温深知自己这个弟弟的性格和能力，他明知这个自己喜爱的弟弟并非宰相之才，但非常值得自己信赖，因此要把自己的政治遗产完全托付给他，并让他今后尽力照顾自己的幺子桓玄。

桓温让桓冲千万不可轻举妄动，而是要凭着自已的实力经营好自己的地盘，这样，王、谢两家自然会忌惮，凡事也会给几分面子。在北方苻秦势力虎视眈眈的情况下，几家最大的门阀必须都团结起来才能够应对随时而至的大兵压境。

在病痛的折磨中，桓温一再陷入半昏迷状态。熬到宁康元年（公元373年）七月，桓温终于撑不住了。在弥留之际，所有的前尘往事又一幕幕在他的脑海中变幻不定：他有时正在手刃仇人，有时又在舞文弄墨；他有时在青梅竹马，有时又在争风吃醋；他有时在战场上浴血奋战，有时又在密室里面策划政治阴谋；他有时看到了至亲的父母就在自己的跟前，有时又面对着面目狰狞的对手和敌人；他有时在大宴宾客，有时又在独自愁伤；他有时梦到了铁马冰河，有时又见到了莺歌燕舞。

桓温弥留之际，他的家族内部却不得安宁。桓温临死前因为世子桓熙的才具较弱，便指示让桓冲继承他的军政大权。早就对大哥桓温心怀不满的桓秘于是窜通了桓熙和桓温的二子桓济，阴谋杀掉桓冲以夺权。桓冲私下获知了这一阴谋，便不敢单独进入桓温的卧室探视兄长。等到桓温去世之后，桓冲便先派武士拘捕了桓熙和桓济，等自身的安全得到保障后，才为桓温办理丧事。其后，同谋的桓秘也被家族所唾弃，被置于桓温墓所附近赋居。而桓熙和桓济则一块被迁徙到长沙。

桓温逝世时，年六十二。摄政的崇德皇太后与幼帝临于朝堂三日，诏赐九命衮冕之服，又朝服一具，衣一袭，东园秘器，钱二百万，布二千匹，腊五百斤，以供丧事。在他的葬礼上，又依太宰安平献王、汉大将军霍光故事，赐九旒鸾辂，黄屋左纛，缊辌车，挽歌二部，羽葆鼓吹，武贲班剑百人，优册即前南郡公增七千五百户，进地方三百里，赐钱五千万，绢二万匹，布十万匹，追赠丞相。朝廷的这种追赠和丧礼待遇，可以说让桓温死后备极哀荣，跟得不得到“九锡”已经没多大区别了。

桓温逝世后，朝廷任命桓冲为中军将军，都督扬、豫、江三州诸军事，扬、豫二州刺史，仍镇姑孰，继承了桓温实权；加右将军、荆州刺史桓豁为征西将军、督荆、扬、雍、交、广五州诸军事；加桓豁之子、竟陵太守桓石秀为宁远将军、江州刺史，镇寻阳。