匈奴自从给卫青、霍去病打败以后元气大伤，剩下的被驱赶到漠北，再也没有胆量和力量侵扰汉朝边境了。过了几年，匈奴断断续续派使者到汉朝来访问，汉朝为了表示友好，也派使者回访匈奴。可是，匈奴单于并不想真心实意和汉朝好，而且经常扣留汉朝派去的使者，不放他们回来。汉朝为了报复，也扣留匈奴派来的使者。
苏武像公元前100年，汉武帝下了一道诏书，历数匈奴的罪恶，准备再次派兵讨伐匈奴。这时候，匈奴又派来了使者，说刚刚即位的鞮侯单于愿意和汉朝和好。作为和好的表示，匈奴把以前扣留的汉朝使者全部放了回来。汉武帝为了答复匈奴的善意表示，派中郎将苏武拿着旌节，带着副手张胜和随员常惠，出使匈奴。
苏武到了匈奴，送回扣留的使者，送上礼物。苏武正等单于写个回信让他回去，没想到就在这个时候，发生了一件事儿。
原来，早在苏武出使匈奴之前，有一个叫卫律的汉朝使者投降了匈奴。匈奴单于正需要人帮他出主意，就封卫律为丁灵王。卫律手下有个叫虞常的人，当初卫律背叛汉朝投降匈奴，虞常也被扣留在匈奴。这个人有些骨气，他表面上投降了匈奴，却一直在等待时机，想把卫律除掉，然后回到汉朝。虞常听说汉朝又派来了使者，而且里面有他的老朋友张胜，心想：“机会来了！”于是他就偷偷地和张胜商量，想杀了卫律，劫持单于的母亲，逃回中原去。
没想到虞常办事不细，计划泄露，反而被匈奴人逮住了。单于大怒，叫卫律审问虞常，还要查问出同谋的人来。
苏武本来不知道这件事。到了这时候，张胜怕受到牵连，才告诉苏武。
苏武说：“事情已经到这个地步，一定会牵连到我。如果让人家审问以后再死，不是更给朝廷丢脸吗？”说罢，就拔出刀来要自杀。张胜和随员常惠眼快，夺去他手里的刀，把他劝住了。
卫律用各种严酷的刑罚拷打虞常，把虞常折磨得死去活来。虞常最后实在受不了，就把张胜供了出来。单于听说汉朝使者参与了这件事，勃然大怒，想杀死苏武，被大臣劝阻了，单于又叫卫律去逼迫苏武投降。
苏武一听卫律叫他投降，就说：“我是汉朝的使者，如果违背了使命，丧失了气节，活下去还有什么脸见人。”又拔出刀来向脖子抹去。
卫律慌忙把他抱住，苏武的脖子已受了重伤，昏了过去。
卫律赶快叫人抢救，苏武才慢慢苏醒过来。
单于觉得苏武是个有气节的好汉，十分钦佩他。等苏武伤痊愈了，单于又想逼苏武投降。
单于派卫律审问虞常，让苏武在旁边听着。卫律先把虞常定了死罪，杀了；接着，又举剑威胁张胜，张胜贪生怕死，投降了。
卫律对苏武说：“你的副手有罪，你也得连坐。”
苏武说：“我既没有跟他同谋，又不是他的亲属，为什么要连坐？”
卫律又举起剑威胁苏武，苏武不动声色。卫律无奈，只好把举起的剑放下来，劝苏武说：“我也是不得已才投降匈奴的，单于待我好，封我为王，给我几万名的部下和满山的牛羊，享尽富贵荣华。先生如果能够投降匈奴，明天也跟我一样，何必白白送掉性命呢？”
苏武怒气冲冲地站起来，说：“卫律！你是汉人的儿子，做了汉朝的臣下。你忘恩负义，背叛了父母，背叛了朝廷，厚颜无耻地做了汉奸，还有什么脸来和我说话。我决不会投降，怎么逼我也没有用。”
卫律碰了一鼻子灰回去，向单于报告。
单于见苏武这样坚定，更加希望苏武投降。他把苏武关在一个大地窖里，不给他饭吃，也不给他水喝，想用饥渴来迫使苏武投降。匈奴地处北方，冬天气候十分寒冷，西北风整天呼呼地吼叫，鹅毛大雪下个不停。但是意志坚强的苏武丝毫也不动摇，渴了就抓一把雪塞进嘴里，饿了就扯一把毡毛大嚼。这样一连过了几天，苏武居然没有死。
单于实在想不出更好的办法来让苏武投降，又不忍心杀掉这个硬汉子，就下令把他送到北海边上（今俄罗斯西伯利亚贝加尔湖）去牧羊。单于对苏武说：“等公羊生了小羊，我就送你回汉朝去！”公羊怎么能生小羊呢？很明显，单于是不准备放苏武回去了。
苏武来到北海边上，这里的气候、风景和汉朝完全不一样。冬天特别长，雪积了有一尺多厚，没有人烟，鸟兽也很稀少。单于不给苏武粮食吃，他就挖野菜、逮田鼠充饥；天冷了，他就靠着那些羊取暖。过了些日子，单于又派人来劝苏武投降，苏武毫不动摇。每天，苏武一边牧羊，一边眼睛望着南方，他抚弄着出使时汉武帝亲手交给他的那支旌节，想着汉朝，想着亲人。晚上睡觉时他也把旌节紧紧地抱在胸前。这样，日子一长，旌节上的绒毛都脱落了，只剩下一支光滑的杆子，可苏武还是整天紧紧地抱着这光秃秃的杆子。太阳升起来，又落下去了，一天天过去了；草原上的草长绿了，又变黄了，一年年过去了。苏武在北海边上度过了漫长的十九年。
汉朝听说匈奴扣留了苏武，就派李广利、李陵等将军多次攻打匈奴，但一直没有结果。汉武帝死后，汉昭帝即位，匈奴发生了分裂，又想和汉朝议和。汉朝要求匈奴把苏武他们放回来，匈奴总是欺骗说苏武早就病死了。后来，汉朝使臣又来到匈奴，苏武的随员常惠听说了这件事，就买通监视他的匈奴士兵，在夜里偷偷地去见汉朝使臣，把苏武的情况详细地报告了汉朝使臣，并且给他出了一个主意，让单于放回苏武。
第二天，汉朝使臣去见单于，要他把苏武放回汉朝。单于又想欺骗，说苏武真的已经死了。
汉朝使臣就按照常惠教给他的一套说：“单于你怎么能老是骗人呢？你如果一点信义也不讲，怎么能和我们汉朝通好呢？前不久，我们大汉天子在上林苑里打猎，射下一只大雁，那雁脚上系着一条绸子，上面有苏武亲笔写的字，说他在北海边上给你们牧羊呢？你怎么说苏武几年前就死了呢？”单于听了，大吃一惊，他真的以为苏武的气节感动了上天，连大雁都给他传书呢！他只好向汉朝使臣连连道歉：“苏武确实还活着，请您不要见怪，我这就放他回国。”
苏武出使的时候，才四十岁。在匈奴受了十九年的折磨，胡须、头发全白了。回到长安的那天，长安的人民都出来迎接他。他们看见白胡须、白头发的苏武手里拿着光杆子的旌节，无一不被感动的，都说他是个有气节的大丈夫。
汉昭帝亲自接见了苏武，勉励了他一番，然后准备了牛羊等祭品，叫他到先帝陵庙去祭祀汉武帝的灵位，把那根光秃秃的旌节交还到汉武帝灵前。
公元前60年，苏武病死，享年八十多岁，但他的浩然正气长存，使他成为中华民族史上最著名的爱国人物之一。