公元278年(咸宁四年)十一月，晋武帝改任杜预为镇南大将军。受命之后，杜预南下襄阳(今湖北襄樊市)接替已经去世的原荆州都督羊祜的职务，为即将开始的灭吴战争作战前准备。
当时，全国尚未统一，西晋王朝只有半壁河山，孙吴政权仍控制着长江中下游以南的地区。不过，孙吴的国力远比西晋要弱，再加上政局动荡，很难同西晋抗衡。晋武帝登位以后一直想发动灭吴战争，可是西晋朝廷内部的意见并不一致。除羊祜、张华等少数大臣支持晋武帝的想法外，大多数人态度暧昧。朝廷中的一些实力派人物，像贾充、荀勖等则持有不同见解，以致错过了一些灭掉孙吴的极好的战机。咸宁四年春天，荆州前线的晋军主帅羊祜突然病重，一直优柔寡断的晋武帝有些后悔，想让羊祜带病出征，但羊祜很快去世了。临终前，羊祜向晋武帝举荐杜预接替自己，认为他完全可以担此重任。羊祜举荐杜预，一方面是因为在朝廷内部的争论中，杜预始终站在羊祜一边，积极支持灭吴战争;另一方则是因为杜预具有卓越的军事才能。杜预驻守的襄阳是西晋南部边境荆州的首府。当时，西晋和孙吴各有一个荆州，形成南北对峙的局面。战争一开始，杜预的首要任务是夺取孙吴的荆州。
杜预到达荆州后，积极进行军事部署，同时派兵奇袭西陵。西陵(今湖北宜昌东南)是孙吴的西部边镇，战略位置十分重要。只要晋军能突破西陵，益州的水师就可以顺流而下，驰骋荆州。对于西陵的重要性，孙吴也早有注意。大将陆逊曾指出，西陵是孙吴的西大门，丢掉西陵则整个荆州不保。所以，从陆逊到他的儿子陆抗，从没有放松过对西陵的控制。但杜预发现自陆抗死后，吴主孙皓逐渐削减了这里的兵力。只是驻守在这里的总督是孙吴的名将张政;不除张政，西陵很可能成为未来战争中晋军前进途中的巨大障碍。于是，杜预实施了一条借刀杀人之计。他从军队中挑选了一批精壮的将士，突然偷袭张政。张政虽然对杜预的到来有所警惕，但万万没有想到，他一到任就来偷袭，由于没有准备吃了败仗。张政害怕孙皓惩罚他，没有如实报告情况。杜预早了解孙皓生性多疑，对臣下不很信任，故意把在西陵抓到的俘虏送到孙吴的首都建邺。孙皓果然中计，气急败坏地召回张政，任命武昌监刘宪接替他的职务。在大战之前，敌人将帅移易，军心动荡，这就为晋军的胜利创造了有利的条件。公元279年(咸宁五年)八月，杜预准备就绪后，上书晋武帝请求开战。
这时，驻守在扬州前线的晋军主帅王浑上表声称孙吴要发倾国之兵攻打晋朝。反对派乘机说三道四，弄得晋武帝对杜预的请战迟疑不决，最后竟同意将灭吴的计划推迟到下一年。
杜预得知晋武帝变卦，非常着急。他再一次上书，陈述自己的见解。他说，孙吴的兵力相当紧张，只能集中力量保住夏口以东，连西线也无力增援。杜预婉转地批评晋武帝听信谣言，放弃灭吴大计，实际上是纵敌养患，给敌人喘息的机会。他认为，灭吴战争胜券稳操，即使没有成功，也不会损失什么。对于杜预的上书，晋武帝仍然迟迟不置可否。杜预又急又气，第三次上书请求立即开战。他愤怒地批评反对派既不顾国家利益，又怕别人立功的阴暗心理和可耻行径。杜预还向晋武帝指出，由于我们要攻打东吴的消息已经泄露，东吴可能要采取对策，那必将给我们灭亡东吴的战争带来许多新的困难。当杜预的这次上书被人送到晋武帝那里的时候，大臣张华正在陪晋武帝下棋。张华立即推开棋盘，劝晋武帝不要再优柔寡断了，恳求他采纳杜预的建议。这时候，贾充、荀勖等人又出来大唱反调。大臣山涛竟然强词夺理地说:“外宁必有内忧。留下个东吴，可以避免内乱，说不定是件大好事呢!由于杜预的几次上书，把攻打孙吴的形势剖析得一清二楚，晋武帝终于下定决心，立即发兵攻打孙吴。
公元279年(咸宁五年)十一月，晋武帝调集大军二十多万，兵分六路，水陆齐进，大举进攻东吴。杜预在这次战争中并没有担任主帅，晋武帝只是任命他为西线指挥，具体任务是取江陵、占荆州，并且在荆州地区负责调遣益州刺史王浚的水师。
公元280年(太康元年)正月，杜预命令他的军队包围江陵。江陵城防坚固，易守难攻。杜预不想在这里消耗时间和兵力，对它只是围而不歼。在切断了江陵和外部的联系之后，他立即调动一部分兵力向西进攻，夺取沿江的一些城池。一个漆黑的夜晚，杜预派遣几名得力的将领率领八百名精壮的士卒去偷袭江南的乐乡。这支部队在夜幕的掩护之下，神不知鬼不觉地渡过长江。他们按照主帅的计谋，一方面在山上到处点火，树立旗帜，虚张声势;一方面分兵袭击乐乡附近的各个要害地区。这样一来，把乐乡城里的吴军都督孙歆吓得坐卧不安，各处的吴军也人心惶惶，不敢随意行动。接着，杜预的这支人马就埋伏在乐乡城外，等待时机攻城。正巧，这时候有一支吴军从江岸返回乐乡;杜预的将士就乔装打扮，混杂在吴军的队伍里溜进城里，活捉了吴军都督孙歆。杜预设计巧取乐乡，使部下将士十分钦佩。他们都说:“主帅用计谋打仗，真是以一当万啊!“
在扫清江陵的外围之后，杜预很快拿下江陵，占据荆州。接着杜预挥师