天宝十四年（755年），安史之乱爆发，李白避居庐山。那时，他的胸中始终存在着退隐与济世两种矛盾的思想。永王李璘恰在此时出师东巡，李白应邀入幕。李白入幕后，力劝永王勤王灭贼，而对于政治上的无远见，他也作过自我检讨。同在江南的萧颖士、孔巢文、刘晏也曾被永王所邀而拒不参加，以此免祸，李白在这点上显然不及他们。永王不久即败北，李白也因之被系浔阳狱。这时崔涣宣慰江南，收罗人才。李白上诗求救，夫人宗氏也为他啼泣求援。将吴兵三千军驻扎在浔阳的宋若思，把李白从监牢中解救出来，并让他参加了幕府。李白成为宋若思的幕僚，为宋写过一些文表，并跟随他到了武昌。李白在宋若思幕下很受重视，并以宋的名义再次向朝廷推荐，希望再度能得到朝廷的任用。但不知什么原因，后来不但未见任用，反被长流夜郎（今贵州桐梓），完全出乎意料。至德二年（公元757年）冬，李白由浔阳道前往流放之所——夜郎。因为所判的罪是长流，即将一去不返，而李白此时已届暮年，不由更觉忧伤。
公元759年，李白行至巫山，朝廷因关中遭遇大旱，宣布大赦，规定死者从流，流以下完全赦免。这样，李白经过长期的辗转流离，终于获得了自由。他随即顺着长江疾驶而下，而那首著名的《早发白帝城》最能反映他当时的心情。到了江夏，由于老友良宰正在当地做太守，李白便逗留了一阵。乾元二年，李白应友人之邀，再次与被谪贬的贾至泛舟赏月于洞庭之上，发思古之幽情，赋诗抒怀。不久，又回到宣城、金陵旧游之地。差不多有两年的时间，他往来于两地之间，仍然依人为生。上元二年，已六十出头的李白因病返回金陵。在金陵，他的生活相当窘迫，不得已只好投奔了在当涂做县令的族叔李阳冰。上元三年（公元762年），李白病重，在病榻上把手稿交给了李阳冰，赋《临终歌》而与世长辞，终年六十一岁。
李白一生不以功名显露，却高自期许，不畏权力，藐视权贵，曾流传着“李白狂草惊蛮书”的故事。
话说唐玄宗时，李白进京赶考遇到了贺知章，两人一见如故，结为了兄弟。次日，李白就搬至贺知章的家里，每日谈诗饮酒，宾主甚是相得。时光荏苒，不觉考期将近。贺知章对李白说：“今年的主考官是杨贵妃的哥哥太师杨国忠，监视官是太尉高力士，二人都是爱财之人。贤弟却无金银买嘱他，便有冲天学问，见不得圣天子。此二人与下官皆有相识，下官写一封札子去，预先嘱托，或者看薄面一二。”李白虽本来才大气高，遇了这等时势，况且是贺知章高情，也不好违阻。就拿着贺知章写的柬帖，投给了杨太师和高力士。二人接开看了，冷笑道：“贺知章受了李白金银，却写封空书在我这里讨白人情。到了阅卷的实惠，如有李白名字卷子，不问好歹，即时批落。”时值三月三日，大开南省，会天下才人，尽呈卷子。李白才思有馀，一笔挥就，第一个交卷。杨国忠见卷子上有李白名字，也不看文字，乱笔涂抹道：“这样书生，只好与我磨墨。”高力士道：“磨墨也不中，只好给我着袜脱靴。”喝令将李白推抢出去。正是：“不愿文章中天下，只愿文章中试官！”
李白被试官屈批卷子，怨气冲天，回至内翰宅中，立誓：“日后如果得志，一定要让杨国忠磨墨，高力士我脱靴，方才满意。”贺知章劝李白说：“贤弟不要烦恼，你就在我家里住下。再等待三年，等到下次更换了考官，你一定会考上的。”于是两人终日饮酒赋诗。
日往月来，就这样过来一年。忽然有一天，有个番国使节送来了国书。朝廷就让贺知章陪接外使，在馆驿住下。次日，阁门舍人拿着番国的国书给唐玄宗，玄宗召来了几个翰林学士，拆开番国的国书，学士们居然一个字也不认识，就拜伏金阶启奏：“此书皆是鸟兽之迹，臣等学识浅短，不识一字。”天子闻奏，让杨国忠开读。杨国忠打开一看，双目如盲，亦不晓得。天子宣问满朝文武，并无一人晓得，不知书上有何吉凶言语。龙颜大怒，喝骂朝臣：“枉有许多文武，却无一个饱学之士与朕分忧。此书识不得，我如何回复番使？现在被番邦笑话，他们必动干戈，来侵边界，如之奈何！我给你们三天时间，如果还没有人认出番书，一概停俸；六日无人，一概停职；九日无人，一概问罪。别选贤良，共扶社稷。”圣旨一出，众人默默无言，再无一人敢奏。
贺知章朝散回家，将此事告诉了李白。李白冷笑着说：“可惜我去年没有考中，所以现在不能为天子分忧。”贺知章大惊道：“贤弟博学多能，一定会辨识番书，我一定到驾前保奏。”次日，贺知章入朝，越班奏道：“臣启陛下，臣家有一秀才，姓李名白，博学多能，要辨识番书，非此人不可。”天子准奏，于是让人到贺家召见李白。李白对来人道：“臣乃远方布衣，无才无识，今朝中有许多官僚，都是饱学之儒，何必问及草莽？臣不敢奉诏，恐得罪于朝贵。”说这句“恐得罪于朝贵”，隐隐刺着杨、高二人，使命回奏。天子就问贺知章：“李白不肯奉诏，是为什么？”贺知章奏道：“臣知李白文章盖世，学问惊人。只因为去年试场中，被试官屈批了卷子，今日教他白衣入朝，有愧于心。乞陛下赐以恩典，遣一位大臣再往，必然奉诏。”玄宗道：“依你所奏。钦赐李白进士及第，着紫袍金带、纱帽象简见驾。就烦你亲自去叫他吧！”
贺知章领旨回家，备述天子惓惓求贤之意。李白穿了御赐袍服，望阙拜谢，遂骑马随贺知章入朝。玄宗于御座专待李白，李白至金阶拜舞，山呼谢恩，躬身而立。天子一见李白，如贫得宝，如暗得灯，如饥得食，如旱得云，开金口，动玉音，道：“今有番国国书，无人能晓，特地让你来为朕分忧。”李白躬身奏道：“臣因学浅，被太师批卷不中，高太尉将臣推抢出门。今有番书，何不令试官回答，却乃久滞番官在此？臣是批黜秀才，不能称试官之意，怎能称皇上之意？”唐玄宗道：“我知道你一定行的，你就不要再推辞了。”遂命侍臣捧番书赐李白观看。李白看了一遍，微微冷笑，对御座前将唐音译出，宣读如流。番书云：“渤海国大可毒书达唐朝官家。自从你占了高丽，和我国逼近，边兵屡屡侵犯我国的边界，想必是你的意思。现在我已经不想忍耐了，所以派使臣来和你讲和，你只要把高丽一百七十六城，让给我国。我有就送给你太白山之菟，南海之昆布，栅城之鼓，扶馀之鹿，捴颉之豕，率宾之马，沃州之绵，湄沱河之鲫，九都之李，乐游之梨。你如果不愿意，我就起兵来厮杀，且看那家胜败！”
众官听得读罢番书，不觉失惊，面面相觑。天子听了番书，龙情不悦，沉吟良久，就问两班文武：“现在番国要兴兵抢占高丽，有何策可以应敌？”两班文武，如泥塑木雕，无人敢应。贺知章启奏说：“自太宗皇帝三征高丽，不知杀了多少生灵，不能取胜，府库为之虚耗。天幸盖苏文死了，其子男生兄弟争权，为我乡导。高宗皇帝遣老将李帟、薛仁贵统百万雄兵，大小百战，方才殄灭。今承平日久，无将无兵，倘干戈复动，难保必胜。兵边祸结，不知何时而止？愿吾皇圣鉴！”玄宗说：“那么如何回答他？”知章道：“陛下试问李白，他一定可以回复的。”欲知后事如何？且听下回分解。