果然，不久之后，朝廷就以李纲降职守尚书左仆射兼门下侍郎，黄潜善守尚书右仆射兼中书侍郎。李纲此时对朝廷的影响力大打折扣了。
为了进一步打击李纲在朝廷的威信，汪伯彦、黄潜善又指使其他人阻止李纲的各项政策落实情况。
李纲推荐的张所上奏朝廷，要求在北京大名府设置招抚司，等待把府治事务安排好以后再向北渡河。北京大名府留守张益谦，是黄潜善的党徒，他就上奏说如果在此设立招抚司扰民，盗贼就会越来越多。李纲说：“张所现在尚留在京师，张益谦怎么就知道张所的招抚司扰民呢？河北民众没有政府领导，就会聚而为盗，怎么会是因为设置招抚司就有盗贼呢？”朝廷根本不理会这些。
这时傅亮的军队整合起来才十来天，汪伯彦等人以为傅亮逗留不进，就以朝廷的名义命令留守宗泽节制李纲推荐的大臣傅亮，而且要求傅亮现在必须渡河。傅亮说：“现在黄河以外都属于金人占领范围，而突然使我以乌合之众渡河，不知何地可为家计，何处可以得粮？现在东西都还没有措置到位，就仓促渡河，恐怕要误了国家大事。”
李纲为傅亮辩护请求宽限几天，黄潜善等人不以为然。
李纲说：“招抚、经制，都是微臣所建明，而张所、傅亮，又是微臣所荐用。而今黄潜善、汪伯彦等人之所以打击他们，就是打击微臣，使臣不得安职。臣每次想到靖康时期大臣不和的教训，把每件事情都和黄潜善、汪伯彦商议而后施行。而现在他们两人用心如此，愿陛下虚心观察一下。”但是皇帝不听他解释，就解散了经制司，下诏书召傅亮赶赴朝廷。
李纲又说：“圣意必欲罢傅亮，就请以御笔把这件事交给黄潜善让他去施行，臣得乞身回归田里。”李纲退朝后，而傅亮就被罢免了，李纲就再次上疏求去。
皇上说：“卿所争的都是些细小事情，怎么就这样子呢？像傅亮这样的小人物，今天还不好找吗？”
李纲说：“人主之职在论相，宰相之职在荐贤。方今人才以将帅为急，恐怕这不是细小事情。傅亮谋略知勇，可为大将，今天还没有使用他，却突然罢免了他，古人用将，恐怕不会如此。方今人材以将帅为急，恐非小事。臣昨天商议迁幸之事，与黄潜善、汪伯彦有争议，他们现在为难臣，臣都接受了。然而臣为东南人，难道不愿陛下东下为更好吗？臣只是想着这次一旦离开中原，后患就会无穷了。愿陛下以宗社为心，以生灵为意，以二圣未还为念，不要以臣离去而改定议策。臣虽离去左右了，不敢一日忘陛下。”说完，哭泣着辞退了。
高忠义看见李纲受着如此大的委屈，就对李纲说：“相公已经仁至义尽了，把该说的话、该做的事已经做了，与忠、与义都尽心尽力了。现在虽然决定辞职退还，可是那些进谗言的人如果伤害你，怎么办呢？”
李纲说：“吾只知道尽心事君之道，如果得不到圣上认可，则保全进退之节，患祸不是我所担心的。”
在建炎元年（1127年）十月，宋帝赵构带领宗室、权贵和宫廷人马前往扬州居住。
此时，已经提拔为殿中侍御使的张浚看到第一次距离皇上这么近，得到了皇帝的赏识，又有宰相的资助，野心马上膨胀起来。
张浚也趁机弹劾李纲说：“李纲虽负才气，大有时望，群众基础好，有影响力。但是他以私意杀掉侍从宋齐愚，典刑不当，不可居于相位；李纲还有杜绝言路，独擅朝政，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格，公吏为奸，擅易诏令，窃庇姻亲等十多件事，需要弹劾”。
宋帝赵构就让朱胜非起草诏书。朱胜非本来比较公正，但是黄潜善授意必须写严重一些。于是诏书斥责李纲说：“狂诞刚愎，谋谟弗效，既请括郡县之私马，又将竭东南之民财。以喜怒自分其贤愚，致赏罚弗当于功罪。出令允符于清议，屡抗执以邀留；用刑有拂于群情，必力祈于亲札，以至帖改已画之旨，巧蔽外姻之奸。兹遣防秋，实为渡河之扰，预颁告命，厚赐缗钱，赏逾百万之多，仅达京师而止，每敦促其速进，辄沮抑而不行，设心谓河，专制若此！”
到了十月下旬，遂罢纲为观文殿大学士、提举洞霄宫。李纲在相位总共只有七十五天。
愤懑的李纲写下了着名的《念奴娇·宪宗平淮西》：
晚唐姑息，有多少方镇，飞扬跋扈。淮蔡雄藩联四郡，千里公然旅拒。同恶相资，潜伤宰辅，谁敢分明语。媕婀群议，共云旄节应付。
于穆天子英明，不疑不贰处，登庸裴度。往督全师威令使，擒贼功名归诉。半夜衔枚，满城深雪，忽已亡悬瓠。明堂坐治，中兴高映千古。
大臣邓肃看到奸臣当道，就上奏为李纲鸣不平说：“人主之职在任相，陛下初登九五，召李纲于贬所，任以台衡宰相之职，待之并不是不专任；但是李纲虽然一身正气而谋术粗疏，谋化虽深而心机浅显。陛下曾经对微臣说：‘李纲真以身殉国者！’今天遽然罢免了他，责辞非常严厉。这是任免诏书，又不是论辩文章，也不是进谏奏疏，不知写诏书的遣辞造句者这样说的依据是什么？况且两河百姓，数月之间无所适从，就因为李纲措置一月，而兵民稍已安集。这些当初的伪楚之臣，纷然都在朝列。李纲先驱逐了张邦昌，而叛党罪行也得到正法。如今李纲却也被免职而去了，那这两件事究竟哪一个是正确的呢！”皇上很不高兴，邓肃很快也被贬职。
这章没有结束，请点击下一页继续阅读！