司马迁是龙门（今陕西省韩城县）人。他的父亲司马谈是一个历史学家，在朝廷里担任太史令的官职。司马谈希望儿子能够继承自己的事业，所以从小就对司马迁进行十分严格的培养。司马迁十岁的时候，就诵读《左传》、《国语》、《尚书》等古代流传下来的历史书，在历史和文学两方面打下了坚实的基础。为了搜集史料，开阔眼界，司马迁从二十岁开始，就游历祖国各地。他到过浙江会稽，看了传说中大禹召集部落首领开会的地方；到过长沙，在汨罗江边凭吊爱国诗人屈原；到过曲阜，考察孔子讲学的遗址；到过汉高祖的故乡，听取沛县父老讲述刘邦起兵的历史……这种游览和考察，使司马迁获得了大量的知识，又从民间语言中汲取了丰富的养料，给司马迁的写作打下了重要的基础。
后来，司马迁当了汉武帝的侍从官，又跟随皇帝巡行各地，还奉命到巴、蜀、昆明一带视察。
司马迁三十六岁那年，父亲司马谈因病去世。父亲生前正在着手编写一部历史书，刚搜集了一些材料，写了几篇，没有写完。临死以前，父亲拉着儿子的手再三嘱咐说：“汉朝兴起以后，海内又统一了，上面有贤明的君主，下面有众多的忠臣义士。他们的事迹都很真实感人，我们做太史令的，如果不能把他们的业绩记载下来，就算失职。我死了以后，你一定要继承我的事业，把书写完。”司马迁流着眼泪，连连点头，接受父亲的嘱托。
过了两年，司马迁接替父亲做太史令，开始编写父亲没有写完的历史书。这时候，他有机会接触政府的各种文书档案，并且在皇家图书馆里读到了许多珍贵的书籍，知识更加丰富了，搜集到的材料也更加丰富了。
可是，在司马迁四十八岁时，一件不幸的事情突然降临到了他的身上。
在苏武出使匈奴的第二年，汉武帝派贰师将军李广利带兵三万，攻打匈奴，打了个大败仗，几乎全军覆没，李广利逃了回来。李广的孙子李陵当时担任骑都尉，带着五千名步兵跟匈奴作战。单于亲自率领三万骑兵把李陵的步兵团团围困住。尽管李陵的箭法十分好，兵士也十分勇敢，五千步兵杀了五六千名匈奴骑兵，但是匈奴兵越来越多，汉军寡不敌众，后面又没救兵，最后只剩了四百多汉兵突围出来。李陵被匈奴逮住，投降了。
李陵投降匈奴的消息震动了朝廷。汉武帝把李陵的母亲和妻儿都关进监狱，并且召集大臣，要他们议一议李陵的罪行。
大臣们都谴责李陵不该贪生怕死，向匈奴投降。汉武帝问太史令司马迁，听听他的意见。
司马迁说：“李陵带去的步兵不满五千，他深入到敌人的腹地，打击了几万敌人。他虽然打了败仗，可是杀了这么多的敌人，也可以向天下人交代了。李陵不肯马上去死，肯定有他的主意，一定还想将功赎罪来报答皇上。”
汉武帝听了，认为司马迁这样为李陵辩护，是有意贬低李广利（李广利是汉武帝宠妃的哥哥），勃然大怒说：“你这样替投降敌人的人强辩，不是存心反对朝廷吗？”他吆喝一声，就把司马迁下了监狱，交给廷尉审问。
审问下来，把司马迁定了罪，应该受腐刑。腐刑就是割去生殖器官的残酷刑罚，这虽然不至于危及生命，却让人蒙受极大的耻辱。司马迁拿不出钱赎罪，只好受了刑罚，关在监狱里。
司马迁感到在人格上受到了沉重的打击，内心十分悲痛，他几次想要自杀，可是一想到父亲的遗愿还没有实现，又不甘心就这样死去。他想：从前周文王被关在羑里，写了一部《周易》；孔子周游列国的路上被困在陈蔡，后来编了一部《春秋》；屈原遭到放逐，写了《离骚》；左丘明眼睛瞎了，写了《国语》；孙膑被剜掉膝盖骨，写了《兵法》……这些著名的著作，都是作者心里有郁闷，或者理想行不通的时候，才写出来的。我为什么不利用这个时候把这部史书写好呢？
于是，他把从传说中的黄帝时代开始，一直到汉武帝太始二年（公元前95年）为止的这段时期的历史，编写成一百三十篇、五十二万字的伟大著作《史记》。
司马迁在《史记》中，对古代一些著名人物的事迹都作了详细的叙述。他对于农民起义的领袖陈胜、吴广，给予高度的评价；对被压迫的下层人物往往表示同情的态度。他还把古代文献中过于艰深的文字改写成当时比较浅近的文字。人物描写和情节描述，形象鲜明，语言生动活泼。因此，《史记》既是一部伟大的历史著作，又是一部杰出的文学著作。
司马迁出了监狱以后担任中书令，后来郁郁不乐而死，但他和他的著作《史记》在我国的史学史、文学史上都享有很高的地位。