西晋代魏以后，晋武帝司马炎接受将军羊祜（hù）的建议，积极准备灭亡东吴，统一中国。
羊祜，字叔子，原费县南城（今属山东平邑县）人，出身名门世家，其祖父羊续为汉南阳太守，父羊道曾任上党太守，前母是孔融之女，生母是蔡邕（伯喈）之女。姐姐羊徽瑜是司马师之妻，后追尊为景献皇后。他相貌英俊，德才兼备。魏末历任中书侍郎、秘书监、相国从事中郎等职，掌管军事机要。晋武帝时，升任尚书左仆射、卫将军。
晋武帝为平定东吴，派羊祜都督荆州诸军事，驻守襄阳。荆襄为兵家必争之地，三国时战乱连年，百姓流离失所。羊祜到襄阳后首先安定民心，减轻赋税，用计使东吴边戍罢守。边境稍有安定，进而督军垦田八百余顷，大获其利。初到时，军无百日之粮，不到几年，存粮足够十年之用。羊祜对东吴军民的怀柔政策相当成功，一次部下从边境抓回两个小孩，一问是东吴边将之子，羊祜立即派人送回，其父十分感激，第二天就率部来降。吴将邓香侵犯夏口，被活捉，羊祜开导后将其放回，邓香感其恩，也率部归降。羊祜的军队行经吴国境内，收割谷子作为军粮，按收谷子多少送给绢匹作为抵偿。被吴国将士射伤的野兽逃入晋地，为士兵所获，羊祜命士兵封好送回。因此，羊祜名声大振，连当时与羊祜边境对峙的吴国主帅陆抗也为之悦服。陆抗害病，羊祜派人去送良药，陆抗服之不疑。羊祜利用边境的暂时安定，抓紧时机，整顿军旅，积极备战，同时继续对东吴军民广布仁德，使之归附。他还举荐益州刺史王
当一切灭吴准备工作就绪后，羊祜向晋武帝提出了灭吴的建议。晋武帝正准备接受羊祜的建议出兵东吴，不料秦、凉二州的少数民族发生了动乱，就把出兵东吴的事情暂时放下了。
不久羊祜生病，他带病再次向晋武帝陈述了灭吴的谋略。晋武帝很高兴，他准备派羊祜带病领兵出征。羊祜辞谢说：“消灭东吴、统一国家是我的愿望，但是我有病在身，不便带兵。我建议派杜预担任灭吴的统帅。”
晋武帝接受建议，让杜预代替了羊祜的职务，不久羊祜病逝。
公元279年，晋武帝发兵二十多万，分几路进攻东吴国都建业（今江苏南京市）。镇南大将军杜预打中路，向江陵进兵；安东将军王浑打东路，向横江（在今安徽省）进军；还有一路水军，由益州刺史王濬率领，沿着大江，顺流向东进攻。
王濬早就作了伐吴的准备，在益州督造大批战船。这种战船很大，能容纳两千多人。船上还造了城墙城楼，人站在上面，可以四面瞭望。所以也称作楼船。
东吴太守吾彦发现晋军造船后，害怕遭受偷袭，就想出一个办法，在江面险要的地方打了很多大木桩，钉上大铁链，把大江拦腰截住，又把一丈多高的铁锥安在水面下，好像无数的暗礁，使晋国水军没法通过。
年后，打中路的杜预和打东路的王浑两路人马都连连胜利。只有王濬的水军，到了秭归，因为楼船被铁链和铁锥阻拦，不能前进。王濬后来想出办法，吩咐晋兵造了几十只很大的木筏，每个木筏上面放着一些草人，披上盔甲，手拿刀枪。他又派几个水性好的兵士带领这一队木筏随流而下。这些木筏碰到铁锥，那些铁锥的尖头就扎在木筏子底下，被木筏扫掉了。
还有那一条条拦在江面的铁链怎么办呢？王濬又在木筏上架着许多很大的火炬。这些火炬都灌满了麻油，一点就着。他让这些装着大火炬的木筏驶在战船前面，遇到铁链，就烧起熊熊大火，时间一长，那些铁链铁锁都被烧断了。
王濬的水军扫除了水底下的铁锥和江面上的铁链，大队战船就顺利地打进东吴地界，很快就和杜预中路的大军会师。
由陆路进攻的杜预大军也取得大胜，攻下了江陵。有人主张暂时休整一下再打。杜预说：“现在我军军威大振，正像劈竹子一样，劈开了几节以后，下面的竹子，就可以迎刃而解，一劈到底了。”他全力支持王濬带领水军直扑东吴国都建业。
这时候，东路王浑率领的晋军也逼近了建业。孙皓派丞相张悌率领三万吴兵渡江去迎战，被晋军全部消灭。
王濬的楼船顺流东下，声势浩大。吴主孙皓这才着了慌，派将军张象带领水军一万人去抵抗。张象的将士一看，满江都是王濬的战船，无数面旌旗迎风飘扬，连天空也被遮住了。东吴水军长期没有训练，看到晋军这个阵势，吓得没有打就投降了。
有一个东吴将军陶濬，正在这时去找孙皓。孙皓问他水军的消息。这个陶濬是个糊涂虫，他说：“我知道益州下来的水军情况，他们的船都很小。陛下只要给我两万水兵，把大的战船用上，准能把晋军打败。”
孙皓马上封他为大将，把节杖交给他，叫他指挥水军。陶濬向将士下了命令，第二天一早就出发跟晋军作战。但是将士可不像陶濬那样糊涂，不愿送死。当天晚上，就全都逃跑了。
王濬的水军几乎没有遇到抵抗，十分顺利地到了建业。建业附近一百里江面，全是晋军的战船，王濬率领水军将士八万人上岸，在雷鸣般的鼓噪声中进了建业城。
孙皓到了山穷水尽的地步，只得自己脱下上衣，让人反绑了双手，带领一批东吴大臣，到王濬的军营前投降。
在庆祝胜利的时候，晋武帝想起了羊祜，举着酒杯对大臣们说：“讨平东吴，统一天下，羊太傅应当记头功。”接着，他带领文武大臣到羊祜的墓前去祭奠，用胜利的喜讯告慰已经安眠地下的羊祜。
这样，从公元220年曹丕称帝到公元280年东吴灭亡，三国分立的局面结束，晋朝统一了全国。