赵匡胤即位后，原来后周的一些将领打心眼里不服气。他们想起以前柴荣和赵匡胤拜天祭地，结成金兰之好，称兄道弟，可是柴荣死了才一年多，尸骨未寒，赵匡胤就忘恩负义，自己要做皇帝，这些将领不愿意下跪称臣，先后有潞州（现在山西长治市）节度使李筠和扬州的淮南节度使李重进起兵反宋。赵匡胤就派大将石守信等人攻打李筠和李重进。宋军声势浩大，将士作战勇猛，李筠和李重进都节节败退，最后他们无路可逃，放火自焚而亡。灭掉了二李，其他想反抗的人也不敢再反抗了，都向宋臣服。这时候，宋朝的政局才稍稍稳定。
宋太祖赵匡胤平定了边乱，接着就开始着手治理朝廷内部事务。
有一次，他单独找赵普谈话。赵普，字则平，幽州蓟县（今北京城西南）人，后迁河南洛阳。他出身小吏，没有多少学问，但却足智多谋，他自称博览群书，古今事务无一不晓。有一天，赵匡胤派人专门到赵普家去察看，回来的人报告说在他的书箱里藏的不过是半部《论语》。从此“半部《论语》治天下”的话流传开来了。
宋太祖问赵普：“李唐灭亡以后，五六十年的时间就经历了五个朝代，连年的战争，皇帝的宝座根本坐不稳，这是为什么呢？”
赵普马上答道：“这个道理我早知道了，我打个比喻，万岁千万别怪罪臣下。”
宋太祖一听这话，对赵普说：“你说什么都行，朕不会生气的。”
赵普说：“万岁可记得你的皇位是怎么得来的吗？不就是你手中有军队吗？要想使赵家的天下坐得长、坐得稳，就需要皇帝你自己掌握军队。现在地方上的节度使、藩镇的势力很大，这就很危险呀！”
宋太祖对赵普说：“那么，朝中的大将他们拥护我当皇帝，他们不会有什么危险吧？”
不等宋太祖说完，赵普就说：“皇帝，你忘记你以前做什么官了，是殿前都点检，也同样是朝廷中的大臣，如果有一天有人将皇袍加在这些掌握重兵的人身上，也来一次皇袍加身，这可就不好办了。”
听到此，宋太祖不断地点头，口中小声说：“说的对，说的对……”
接着两人就商量，如何去做。
过了几天，宋太祖在宫里举行宴会，将大将石守信、高怀德、王审椅、张令锋、赵彦徽等请入宫中。酒过几巡，宋太祖命令在旁侍候的太监退出。他拿起一杯酒，饱含深情地对大家说：“在座的各位将军，有的是朕的拜把兄弟，有的是跟随朕多年征战沙场、出生入死的老部下，如今大家能坐在一起痛饮，真是难得呀！今天大家都不要客气，大口地吃肉，大口地喝酒，一醉方休。”
武将们都站起来，一个接一个向宋太祖敬酒：“祝万岁寿比南山。以后有什么事情万岁只管吩咐，我们赴汤蹈火，万死不辞。”
宋太祖和大家继续喝酒，说笑声不断。
“咳”，宋太祖重重地叹了一口气。大家听到他的叹气声都停下酒杯，忙问：“万岁一切都顺心，怎么唉声叹气呢？”
“大家不知，这些天朕没有睡过一个安稳觉。”宋太祖说完这话，众人都急忙问：“这是为什么？”
宋太祖继续说道：“古人说：‘皇帝轮流坐，明天到我家。’谁不想当皇帝呀，今天我赵匡胤坐在龙座上，不知明天龙座之上坐的又是谁？”
众人都品出了这话中的含义，这不是害怕我们想当皇帝吗？大家都纷纷说：“我们到死都拥护万岁，决没有二心！”
宋太祖连忙说：“不要这样，朕怎么不相信大家呢？只不过有一天你们的部下将一件黄袍加在你们身上，那时你们能做主吗？真的那样的话，咱们君臣打起来，这可不好啊！”
众人一听，一个个都流了汗：“那可怎么办？万岁快给出个主意，我们一定照办。”
宋太祖这时不紧不慢地说：“人无非追求荣华富贵，子子孙孙都不贫穷罢了。如果大家交出兵权，你们和我之间没有猜疑那多好啊！你们回到老家去，多多地添置田地房屋，再买一些美女歌妓，天天喝酒，这才叫朕放心，你们也快活。这么办怎么样？”
众人一听，不住地叩头说：“好，好。”
宋太祖笑了笑：“大家不要这样，都快起来，让咱们君臣痛饮一杯。”
酒虽进了肚，众武将心里却不是滋味。
第二天，众人借口有病，请求辞掉官位，宋太祖高兴地答应了，从此赵匡胤就把军权收归己有了。
这就是历史上有名的“杯酒释兵权”的故事。
收了京城中禁军的军权，宋太祖仍觉不够。公元969年，宋太祖第二次“杯酒释兵权”，一些资格老的地方节度使的军权也被没收。同时，宋太祖派文官到地方上管事，用他的话说就是：“现在派了一百多个文人到地方上去，就算他们贪污，那么造成的危害也不及武将的十分之一。”
至此，禁军与藩镇的兵权都集中到了赵匡胤手里。为了避兔“君弱臣强”局面的出现，宋太祖又在宰相之下设参知政事若干人，以削弱宰相权力，并改变以前皇帝与宰相共同商讨国事的规矩，改为由皇帝批阅，再给宰相下旨处理。
宋太祖经过一系列的改革，手中的权力越来越大，这样五代王朝的短命悲剧没再重演，为维护国家统一做出了重要贡献。但是另一方面，宋太祖采取的一系列措施，也造成宋朝军队战斗力低下，这也是后来打仗经常失败的局面。