一日，部将入帐禀祜曰：“哨马来报：吴兵皆懈怠。可乘其无备而袭之，必获大胜。”祜笑曰：“汝众人小觑陆抗耶？此人足智多谋，日前吴主命之攻拔西陵，斩了步阐及其将士数十人，吾救之无及。此人为将，我等只可自守；候其内有变，方可图取。若不审时势而轻进，此取败之道也。”众将服其论，只自守疆界而已。
一日，羊祜引诸将打猎，正值陆抗亦出猎。羊祜下令：“我军不许过界。”众将得令，止于晋地打围，不犯吴境。陆抗望见，叹曰：“羊将军有纪律，不可犯也。”日晚各退。祜归至军中，察问所得禽兽，被吴人先射伤者皆送还。吴人皆悦，来报陆抗。抗召来人入，问曰：“汝主帅能饮酒否？”来人答曰：“必得佳酿，则饮之。”抗笑曰：“吾有斗酒，藏之久矣。今付与汝持去，拜上都督：此酒陆某亲酿自饮者，特奉一勺，以表昨日出猎之情。”
来人领诺，携酒而去。左右问抗曰：“将军以酒与彼，有何主意？”抗曰：“彼既施德于我，我岂得无以酬之？”众皆愕然。
却说来人回见羊祜，以抗所问并奉酒事，一一陈告。祜笑曰：“彼亦知吾能饮乎！”遂命开壶取饮。部将陈元曰：“其中恐有奸诈，都督且宜慢饮。”祜笑曰：“抗非毒人者也，不必疑虑。”竟倾壶饮之。自是使人通问，常相往来。一日，抗遣人候祜。祜问曰：“陆将军安否？”来人曰：“主帅卧病数日未出。”祜曰：“料彼之病，与我相同。吾已合成熟药在此，可送与服之。”来人持药回见抗。众将曰：“羊祜乃是吾敌也，此药必非良药。”抗曰：“岂有鸩人羊叔子哉！汝众人勿疑。”遂服之。次日病愈，众将皆拜贺。抗曰：“彼专以德，我专以暴，是彼将不战而服我也。今宜各保疆界而已，无求细利。”众将领命。忽报吴主遣使来到，抗接入问之。使曰：“天子传谕将军：作急进兵，勿使晋人先入。”抗曰：
“汝先回，吾随有疏章上奏。”使人辞去，抗即草疏遣人赍到建业。近臣呈上，皓拆观其疏，疏中备言晋未可伐之状，且劝吴主修德慎罚，以安内为念，不当以黩武为事。吴主览毕，大怒曰：“朕闻抗在边境与敌人相通，今果然矣！”遂遣使罢其兵权，降为司马，却令左将军孙冀代领其军。群臣皆不敢谏。吴主皓自改元建衡，至凤凰元年，恣意妄为，穷兵屯戍，上下无不嗟怨。丞相万彧、将军留平、大司农楼玄三人见皓无道，直言苦谏，皆被所杀。前后十余年，杀忠臣四十余人。皓出入常带铁骑五万。群臣恐怖，莫敢奈何。却说羊祜闻陆抗罢兵，孙皓失德，见吴有可乘之机，乃作表遣人往洛阳请伐吴。其略曰：“夫期运虽天所授，而功业必因人而成。今江淮之险，不如剑阁；孙皓之暴，过于刘禅；吴人之困，甚于巴蜀，而大晋兵力，盛于往时：不于此际平一四海，而更阻兵相守，使天下困于征戍，经历盛衰，不可长久也。”司马炎观表，大喜，便令兴师。贾充、荀顗、冯紞三人，力言不可，炎因此不行。祜闻上不允其请，叹曰：“天下不如意事，十常八九。今天与不取，岂不大可惜哉！”至咸宁四年，羊祜入朝，奏辞归乡养病。炎间曰：“卿有何安邦之策，以教寡人？”祜曰：“孙皓暴虐已甚，于今可不战而克。若皓不幸而殁，更立贤君，则吴非陛下所能得也。”炎大悟曰：“卿今便提兵往伐，若何？”祜曰：“臣年老多病，不堪当此任。陛下另选智勇之士可也。”遂辞炎而归。
是年十一月，羊祜病危，司马炎车驾亲临其家问安。炎至卧榻前，祜下泪曰：“臣万死不能报陛下也！”炎亦泣曰：“朕深恨不能用卿伐吴之策。今日谁可继卿之志？”祜含泪而言曰：“臣死矣，不敢不尽愚诚：右将军杜预可任；劳伐吴，须当用之。”炎曰：“举善荐贤，乃美事也；卿何荐人于朝，即自焚奏稿，不令人知耶？”祜曰：“拜官公朝，谢恩私门，臣所不取也。”言讫而亡。炎大哭回宫，敕赠太傅、巨平侯。南州百姓闻羊祜死，罢市而哭。江南守边将士，亦皆哭泣。襄阳人思祜存日，常游于岘山，遂建庙立碑，四时祭之。
往来人见其碑文者，无不流涕，故名为堕泪碑。后人有诗叹曰：“晓日登临感晋臣，古碑零落岘山春。松间残露频频滴，疑是当年堕泪人。”晋主以羊祜之言，拜杜预为镇南大将军都督荆州事。杜预为人，老成练达，好学不倦，最喜读左丘明《春秋传》，坐卧常自携，每出入必使人持《左传》于马前，时人谓之“《左传》癖”。及奉晋主之命，在襄阳抚民养兵，准备伐吴。
此时吴国丁奉、陆抗皆死，吴主皓每宴群臣，皆令沉醉；又置黄门郎十人为纠弹官。宴罢之后，各奏过失，有犯者或剥其面，或凿其眼。由是国人大惧。晋益州刺史王濬上疏请伐吴。其疏曰：“孙皓荒淫凶逆，宜速征伐。若一旦皓死，更立贤主，则强敌也；臣造船七年，日有朽败；臣年七十，死亡无日：三者一乖，则难图矣。愿陛下无失事机。”晋主览疏，遂与群臣议曰：“王公之论，与羊都督暗合。朕意决矣。”侍中王浑奏曰：“臣闻孙皓欲北上，军伍已皆整备，声势正盛，难与争锋。更迟一年以待其疲，方可成功。”晋主依其奏，乃降诏止兵莫动，退入后宫，与秘书丞张华围棋消遣。近臣奏边庭有表到。晋主开视之，乃杜预表也。表略云：“往者，羊祜不博谋于朝臣，而密与陛下计，故令朝臣多异同之议。凡事当以利害相校，度此举之利，十有八九，而其害止于无功耳。自秋以来，讨贼之形颇露；今若中止，孙皓恐怖，徙都武昌，完修江南诸城，迁其居民，城不可攻，野无所掠，则明年之计亦无及矣。”