但是，赵鼎为了大权独揽，还是对他攻击不已，宋皇帝赵构只得同意他辞职。赵鼎就让给事中兼直学士院汪藻草制罢免吕颐浩。在赵鼎的授意下，罢免的制书内容非常严厉，内容大概说：“当初你选拔吏员时有违反铨举法的地方，你专兵权而差一点就把朝廷枢机废掉了。当初下诏去江南吴门之地，考虑根本不周全，差一点把皇上置于危险之中；当初请圣上去浙右的行动，则是力排众议的独断行为，有违于众人讨论。”于是朝廷就把他罢为镇南军节度使、开府仪同三司、充醴泉观使。
金人朝廷当中许多人都是从宋廷投降过去的。因此金人对宋廷内部的斗争看得分外清楚，就持续加大了进攻力度。
金人攻过长江后，宋廷在淮东守城的人犹未引起警觉。安抚使、直宝文阁张缜尚守卫扬州，节度濠州军马刘位带领士兵在横山之中，整天只知道赌博、喝酒、唱戏、狎妓而已。金人占据六合之后，真州也被群盗所困扰，张缜又以为是金兵打过来了，大为惊恐，根本就没有核实，立即放弃扬州逃去。
金人在建康停留了将近半年，从采石至和州，道路上往来不绝。而和州仅仅留下了几十个金兵把守，但是无一宋人官军乘虚至城下去收复这些城池。
水军统制邵青当时驻扎在竹筱，通过侦探发现建康敌骑很少，就准备引兵去攻打建康，结果被自己的青牛顶撞断了肋骨，计划被迫取消了。而都团练使陈德，也集结众民准备杀掉这几十个金人，就在部勒已定之际，忽然被叛徒所告密，陈德全家被金人杀害，兵马都监金沔也被杀死了。
话说金元帅宗弼（兀术）从黄天荡逃出后，由新开的老鹳河向建康进发。建炎四年（1130年）四月二十五日，宋军在清水亭与金兵展开了生死大战。由于岳飞的坚定抗金意志和决心，鼓舞了许多爱国人士，因此士气非常高涨，岳家军同仇敌忾，奋勇杀敌，金兵大败，尸体横七竖八躺满了十几里远。岳家军还活捉女真渤海汉军将领四十五人，斩获女真大小军将首级一百七十五颗，缴获金军马甲、弓箭、金鼓三千七百多件。这一仗是金军渡江南侵以来第一次大惨败。
五月十日，岳飞已设伏于建康西南的牛首山。这天夜间，他派出一百多名士卒，身穿黑衣，混入金营，乘着月色痛杀一阵，金人在惊慌中互相残杀，伏尸遍地。看到夜袭金营已经得手，岳飞立即率领三百骑兵、两千步卒，在新亭（江宁附近）追杀金兵。由于金兵准备回撤，因此背负着抢掠而来的许多东西，行动非常迟缓。因此，这些背着掳掠东西还没有来得及登舟的金兵，统统被岳家军用戈矛捅落水中淹死。这一仗，岳家军斩杀女真兵有三千多，俘虏三百多人，其中将领有二十多人，得马三百匹，铠仗旗鼓数以万计，牛驴辎重无数。
建炎四年（1130年）五月十一日，岳飞收复了建康。岳飞就上奏说：“建康为要害之地，应当选兵固守，再增加兵力防守淮河，像拱护腹心一样保卫它。”宋帝仅仅口头表扬了他一下。
由于宋军极其无能，对外敌是屡战屡败，对内的盗贼也是毫无办法，只能采取招安怀柔的和谐政策。当时盗贼戚方引兵侵犯安吉县的上乡村，浙西、江东制置使张俊带兵去讨伐他们。
有人说上乡村的道路狭窄，大军行进不顺畅，张俊就派遣他的偏将王再兴招安盗贼戚方。本来戚方还想反抗一下，争取更大的招安谈判筹码，结果张俊的另外一位偏将、统制官岳飞从后面追袭他，戚方无路可退，就乖乖地到张俊的军中投降了。
戚方交出兵簿，有马六百匹，所献金玉珍珠不可计数。张俊依靠权势，通过敲诈勒索、威胁恐吓等手段，将它们中的大多数据为己有。回到朝廷后，由于戚方非常有钱，很快就与权贵们打成一片良好关系。他经常与皇宫中的太监、中贵人、官员蒱博赌博，如果没有获胜输急眼了，就取一块黑漆如马蹄形状的东西用火焰轻轻一烧烤，外面的黑漆包裹就褪去了，原来这是伪装好的黄金，他就用这黄金来偿还赌博欠债。他有这样的东西很多，人们根本不知道他还有多少枚。因此在金钱攻势之下，招安后的他很快被权贵提拔重用，任命为武翼大夫，又把他的下属六千人隶属于王侄军队，后来顺便将他也作为裨将了。当时人们以歌谣讽刺说：“要高官，受招安。”
更荒唐的是，由于宋军往往一触即溃，许多部队都是建了散、散了建，收集的散兵游勇、盗贼、招纳的盲流等等，变动非常大。加之宋廷一些将领整天只知道吃喝玩乐，根本不训练军队，甚至除了自己身边的几个随从，自己的军队，自己根本不认识。
滁、濠镇抚使刘位引兵来到滁州，当地的匪贼张文孝带人逃遁了。第二天早上，刘位听说张文孝带着他的盗贼又返回来到城下了，就赶紧准备带领士兵去迎敌。刘位远远看见城里面有自己的几百名士兵，立即跑上前去指挥他们，结果发现他们原来是盗贼张文孝的人马。结果就是他竟然自投罗网，被盗贼杀死，权知州事苟某与州县官也赶紧逃散去了。
本小章还未完，请点击下一页继续阅读后面精彩内容！