祖逖，字士稚，晋代范阳遒县（今河北涞水县北）人。父亲祖武，任上谷太守。祖逖少年丧父，有兄弟六人。祖逖性情豁达、狂放，十四五岁还未开始读书，哥哥们都替他发愁。然而，祖逖年轻仗义，为人慷慨大方，每至农家，就以哥哥的名义散发谷、帛赈济穷人，乡里的人都很敬重他。后来，祖逖博览群书，往来于京师之间，见到他的人都说他有济世之才。
祖逖年轻时和好友刘琨在司州（今洛阳东北）做主簿。一次，半夜里他在睡梦中听到公鸡的鸣叫声，便一脚把刘琨踢醒说：“别人都认为半夜听见鸡叫不吉利，我偏不这样想，咱们干脆以后听见鸡叫就起床练剑如何？”刘琨欣然同意。于是他们每天鸡叫后就起床练剑，剑光飞舞，剑声铿锵。春去冬来，寒来暑往，从不间断。功夫不负有心人，经过长期的刻苦学习和训练，他们既能写得一手好文章，又能带兵打胜仗，都成为文武全才。
在匈奴人占领中原以后，北方有许多人避难到南方来。祖逖也带着家属、亲戚、朋友，离开北方南下江南。
当时，司马睿还没有即位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，主要是由于皇室内部自相残杀，使胡人乘机攻进了中原。现在中原的百姓遭到敌人残酷迫害，人人想要起来反抗。只要大王下令出兵，派我们去收复失地。那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，就勉强答应他的请求，派他做豫州（在今河南东部和安徽北部）刺史，拨给一千人吃的粮食和三千匹布，让他自己招兵买马。
祖逖带着随同他一起来的几百家乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打（文言是“中流击楫”），向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，决不再过这条大江。”他激昂的声调和豪壮的气概，使随行的壮士个个感动，人人激奋。
祖逖渡江以后，进驻江阳，先在那里起炉炼铁，制造武器，又招募了两千名壮士，然后继续向北进发。祖逖一刻也没有忘记自己的誓言，勇敢地跟敌军展开斗争。江北的人民听说祖逖北伐，都十分欢迎。他们给祖逖送粮送信，配合着打击敌人。在人民的支持下，几年之间，祖逖就收复了长江以北黄河以南的大部分地区。
刘琨在北方听到老朋友祖逖起兵北伐，也很高兴，说：“我夜间枕着兵器睡觉等待天亮，就是一心要消灭敌人。现在祖逖跑到我前面去了。”
可是，北方还有一部分地区是在十六国之一的后赵石勒统治之下。祖逖领兵继续北进，在黄河边上与石勒展开了激烈战斗。祖逖手下的将领韩潜和后赵将领桃豹，两军争夺一个叫蓬陂的城堡。韩潜占了东城，住在东台；桃豹占了西城，住在西台。晋军从东门进出，后赵军从南门进出。双方对峙了四十多天，粮食供应发生困难，都感到难以再坚持下去了。祖逖为了战胜对方，跟韩潜商量出一条计策。
他叫部下用许多麻袋装上土，假装是粮食，派一千多人高唱着劳动号子运上东台；又派几个人搬运一些真的米袋，故意装作疲劳的样子，走到与桃豹交界的路上去休息。桃豹的士兵早就饿急了，见了运米的晋军，就追赶过来。祖逖的部下故意丢下米袋就跑。桃豹的士兵抢到米，很是高兴，立刻架锅做饭。他们一边吃着香喷喷的米饭，一边谈论着祖逖军队粮食这样充足，而他们却要经常忍饥挨饿。言谈之间，不觉流露出不愿继续打下去的情绪，军心开始动摇。这情况很快反映到石勒那里。
为稳定军心，石勒火速派人组织了一支由一千多头驴子组成的运粮队，运送粮食去接济桃豹。祖逖得知这个消息，立刻派韩潜等带领一队人马去袭击，在汴水（今河南省中牟县境内）岸边，打败了后赵的运粮队，夺得了全部粮食。桃豹听说粮食被抢，知道无法再坚持，吓得连夜逃跑了。
祖逖领导晋兵艰苦斗争，收复了黄河以南的全部领土，后赵的兵士陆续向祖逖投降。晋元帝即位后，因为祖逖功劳大，封他为镇西将军。
祖逖在战斗的艰苦环境中，和将士们同甘共苦，自己的生活很节约，把省下的钱用来帮助部下。他还奖励耕作，招纳新归附的人。即使是跟自己关系疏远和比自己地位低下的人，他也同样热情地对待。当地的百姓都很拥护他。
有一次，祖逖举行宴会招待当地父老。人们高兴得又是唱歌，又是跳舞。有些老人流着眼泪说：“我们都老了，今天能够在活着的日子里看到亲人，死了也可以闭上眼睛了。”
祖逖北伐的节节胜利，引起了东晋统治集团的猜忌。他们不仅不再支持祖逖继续前进，还派人去监视他，妄图夺他的兵权。晋元帝司马睿派尚书仆射戴渊做征西将军，掌管青、兖、豫、并、雍、冀六州的军务，坐镇合肥，来做祖逖的主帅。戴渊是南方人，虽然有些才能，名望也很高，可是为人气量狭小，见识浅陋，是个没有作为的人。祖逖看朝廷不信任自己，感到无望恢复中原，内心痛苦愤恨到了极点。
不久，祖逖听说他的好友刘琨在幽州被王敦派人杀害，又听说晋元帝跟王敦正在明争暗斗，于是抑郁而死。其弟被东晋逼反，兵败投靠石虎被杀。祖家惨遭东晋灭族。
不过，黄河南岸的人们，为他建造了祠堂，塑了像，以表示对他永远怀念。