闲居三个月后，岳飞难以压抑心中报效国家的强烈意愿，决定投奔河北路招抚使张所。张所是一位爱国将领，这时他正置北京(大名府)，招募义勇民兵，蓄积力量，准备反攻。张所素知岳飞有勇有谋，见到岳飞就问道：“听说你作战勇冠三军，你自己衡量能对付多少敌人?”岳飞回答说：“光凭勇敢是靠不住的。用兵首先要有谋略，谋略是决定战争胜败的关键。”张所感到岳飞的话很有道理，不觉肃然起敬。请岳飞坐下畅谈。谈到当前局势，岳飞慷慨陈词，泪流满面，矢志以身许国。张所很赏识岳飞的胆略，任命他当中军统领，不久升为统制，编置在都统制王彦的统辖之下。
这一年秋天，张所被投降派捏造罪名罢官，朝廷改派王彦接替张所任河北招抚使。王彦集合了岳飞等十一名将官，率领部众七千人，渡过黄河，攻击金军。开到卫州新乡县(河南新乡)，岳飞带领所部战士与金守军鏖战。岳飞亲自夺取金军的大旗，不断挥舞，将士们呼声震天，个个奋勇争先，终于收复了新乡县城，活捉金军千户阿里孛。接着，又打败金军万户王崇。
岳飞接着又带着战士同金军大战于侯兆川(今河南辉县)。在大战前，岳飞鼓励部下说：“我军两次打败敌人，敌人一定会竭尽全力来反击。我们人数少，为了争取胜利，凡不服从命令，不奋勇杀敌的，一律斩首。”兵士们同仇敌忾，个个奋勇争先，作殊死战。在激烈的战斗中，兵士伤亡很多，岳飞自己也受伤十多处，终于大败金军，俘获大批金军和战马。
经过几次战斗，金朝以为宋朝派来了大批人马，就派出几万人，把王彦、岳飞的营寨团团围住。王彦、岳飞合计自己的人马很少，武器也较简陋，连战必败，为了保存战斗力量，就决定突围。
突围后，由于孤军作战，兵员损失严重，给养供应不上，部队陷入困境。王彦率主力退入太行山中。岳飞率所部多次击败金军的追击，他曾手拿丈八铁枪，单骑刺杀金军将领黑风大王，使大队金军闻风逃窜。尽管取得了一些战斗的胜利，但岳飞这支队伍毕竟人数太少，自从跟王彦的主力分开后，越来越感到势孤力单，难以长期坚持下去，于是决定一边战斗，一边向南撤退。这年冬天，岳飞转战到汴京，再次投奔汴京留守宗泽，宗泽委任他做留守司的统制。
宗泽在汴京加强治安，整顿社会秩序，团结各地流民首领，招募新兵，规划战具，使汴京重新成为抗战的中枢。宗泽还把全面反攻的计划奏报朝廷。建炎二年春，岳飞在宗泽指挥下，在黄河以南连续跟金军进行战斗，获得胜利。七月，宗泽不幸病逝。临终前，宗泽劝勉部将们说：“你们能替我歼灭强敌，完成恢复之志，我虽死无恨!”连呼三声“过河!”然后死去。
宗泽死后，朝廷派杜充接替宗泽的汴京的官职。他一到汴京，就尽反宗泽所为。由宗泽辛苦集结的武装力量，见杜充无意抗金，便各各引去，很快就走散了一大半。岳飞本来不愿受杜充的节制，但他认识到汴京这个据点在抗金斗争中的重要性，便决心坚守汴京。
这时，不断传来金军大举南侵、赵构已逃到江南的消息，杜充如坐针毡，再也没有胆量留在汴京，决定弃城逃跑。岳飞闻讯，立刻向杜充进谏。杜充主意已定，拒绝岳飞的忠告，径自带领部下退到建康(江苏南京)。岳飞也只好随军南下。赵构听说杜充已经放弃汴京，到达建康，就命令他驻守建康，把防守两淮和长江的责任交给了他。
这一年的冬天，金军在阿骨打第四子兀术率领下，再次大举南侵，建康终于失陷，杜充叛变降敌。岳飞率所部转移至广德军(安徽广德)。金军也取道广德向浙东进发。广德军经过金军的蹂躏，百姓的粮食、财物早被洗劫一空。岳飞设法夺取敌人的给养来供给军食，他自己跟普通士兵一样过着艰苦的生活。当时，全军将士经常挨饿，但岳飞约束部下，不准骚扰民户，因此这里的商市还照常营业。
建炎四年正月，岳飞率军向北开到常州宜兴(江苏宜兴)驻守，归张俊统辖。这时的岳飞经过四年多的战斗，已更加成熟、老练，成为一个能征惯战、智勇双全的将领，他的部属也锻炼成为一支斗志旺盛的坚强队伍。
金军追赶赵构到海上，被宋舟师击败。兀术这时担心孤军深入，被宋军切断后路，决定放弃南进计划，由杭州班师北撤，一路大肆掳掠。金军撤退到常州宜兴。岳飞以逸待劳，给予金军迎头痛击，连续四次打败敌人。接着，岳飞率部紧跟金军，一直追击到镇江。金军撤退到镇江，被浙西制置使韩世忠部打败，后侥幸逃到建康。
宋廷命令岳飞收复建康城。岳飞立刻率领部下，赶到建康城南的牛头山上埋伏。半夜，他派一百名战士混到敌营中，扰乱敌军。金军在睡梦中惊醒，以为宋军前来偷袭，营中一片混乱，以至自相残杀。岳飞得知金军正从建康城撤退，由静