宋孝武帝即位之后，宋王朝很快就衰落了。在这个时期，却出了一位杰出的科学家祖冲之。
祖冲之祖籍范阳郡遒县（今河北涞源），为避战乱，祖冲之的祖父祖昌由河北迁至江南。祖昌曾任刘宋的“大匠卿”，是一个管理朝廷建筑的长官；祖冲之的父亲也在朝中做官。祖家历代都对天文历法很有研究，祖冲之长在这样的家庭里，从小就读了不少书，人家都称赞他是个博学的青年。他特别爱好数学，也喜欢研究天文历法，经常观测太阳和星球运行的情况，并且做了详细记录。
宋孝武帝听说他的名气很大，派他到一个专门研究学术的官署“华林学省”工作。他对做官并没有兴趣，但是在那里，却可以更加专心研究数学、天文了。
我国历代都有研究天文的官，并且根据研究天文的结果来制定历法。到了南北朝刘宋时期的时候，历法已经有很大进步，但是祖冲之认为还不够精确。他根据他长期观察的结果，创制出一部新的历法，叫做“大明历”（“大明”是宋孝武帝的年号）。这种历法测定的每一回归年（也就是两年冬至点之间的时间）的天数，跟现代科学测定的相差只有五十秒；测定月亮环行一周的天数，跟现代科学测定的相差不到一秒，可见它的精确程度。
公元462年，祖冲之请求宋孝武帝颁布新历，孝武帝召集大臣商议。大臣戴法兴首先反对。戴法兴是皇宫里的侍卫官，并不懂历法，但是因为他会逢迎拍马，深得孝武帝的宠爱，朝廷上的许多官吏都看他的眼色行事，不敢得罪他。戴法兴装出十分懂得的样子，指着祖冲之说：“历法是古代圣贤创造的，哪能随便更改呢？自古以来，人们都认为每年冬至太阳回到了原来的位置上，这是永远不变的。你违反古训，说太阳的位置变了，我看这就不对。”祖冲之站起来反驳说：“古代历法存在着许多错误，这是人所共知的。早在后汉时候，就有人观察到了每年冬至太阳位置后移的现象，这个事实说明我的新历法是对的。”祖冲之又把太令的月食记录翻开说：“文帝元嘉十三年、十四年、二十八年，本朝大明三年，都发生过月食。这四次月食发生的时候，月亮的位置都是有记录的。我根据这些记录推算，证明了太阳每年冬至不是回到上一年冬至的位置上。这个事实怎么能否认呢？”戴法兴瞠目结舌，没话可说，但是他不甘心认输，又提出一个问题想难住祖冲之。他说：“十九年中有七个闰年，这是自古以来的闰年法，你怎么能把它改成在三百九十一年中设置一百四十四个闰年呢？”祖冲之从容不迫地回答说：“你说的这个闰年法，自秦汉算起，已经几百年了。在这几百年当中，天象已经发生了变化，前人就已经发现了古代历法和天象之间的差错。难道有差错还不能改正吗？”其他官员看祖冲之理直气壮，语言又那么锋利，都替他担忧，害怕他得罪了戴法兴。孝武帝看他们争辩得很激烈，怕戴法兴下不了台，就对大家说：“今天的争论，各有各的道理。你们回去都把意见写出来，让我看了再作决定。”不久，祖冲之把跟戴法兴的争论写成科学史上有名的文献——《驳议》。过了两年，孝武帝认识到祖冲之新历法的优点，宣布在改年号的时候开始采用。祖冲之听到这个消息，高兴极了。不料，宋孝武帝在这年夏天病死，采用新历法的事又被搁置起来。一直到梁朝天监九年（公元510年）梁武帝在位的时候，祖冲之制定的《大明历》才开始使用。这时候，祖冲之已经去世十年了。
祖冲之更大的成就是在数学方面。他曾经对古代数学著作《九章算术》作了注释，又编写一本《缀术》。他最杰出的贡献是求得相当精确的圆周率。
圆周率就是圆的周长和圆的直径的比例数。在祖冲之以前，已经有许多人在探求这个数值。祖冲之在前人的基础上继续努力，决心攻破这个难关。
古时候做计算题，是用筹码（小竹棍）进行的。祖冲之在案子上摆了许多筹码，一面念口诀，一面挪动筹码，一遍又一遍地计算着。他常常天不亮就起床，一直计算到深夜，筹码因为得经常挪动，都被手磨得十分光滑了。祖冲之计算了一万多遍，才算出了比较精确的数值，确定圆周率是在3.1415926和3.1415927之间。这个数值相当精确，把前人对圆周率的研究，大大地前进了一步。
祖冲之是世界上第一个把圆周率的数值算到小数点以后七位数字的，欧洲的数学家奥托，在祖冲之以后一千多年，才算出了这个数值。所以，有人主张把圆周率改名为“祖率”，来纪念祖冲之的重大贡献。
祖冲之在科学发明上是个多面手，他造过一种指南车，随便车子怎样转弯，车上的铜人总是指着南方；他又造过“千里船”，在新亭江（在今南京市西南）上试航过，一天可以航行一百多里。他还利用水力转动石磨，舂米碾谷子，叫做“水碓磨”。
祖冲之还与他的儿子祖暅（也是我国著名的数学家）一起，用巧妙的方法解决了球体体积的计算。他们当时采用的一条原理是：“幂势既同，则积不容异。”意即，位于两平行平面之间的两个立体，被任一平行于这两平面的平面所截，如果两个截面的面积恒相等，则这两个立体的体积相等。这一原理，在西方被称为卡瓦列利原理，但这是在祖氏以后一千多年才由卡氏发现的。鉴于祖氏父子发现这一原理的突出贡献，大家也称之为“祖暅原理”。
为了纪念祖冲之，人们还将月球背面的一环形山命名为“祖冲之环形山”，将小行星1888命名为“祖冲之小行星”。