忽必烈思索再三，决定继续率兵强渡长江，把宋军守城鄂州团团围住。但由于城内宋军的拼命抵抗，蒙军久攻不下。这时，忽必烈又接到妻子来信，告诉他其弟阿里不哥正在加紧策划，准备继承王位，请他务必北返。忽必烈这才放弃攻宋，整顿内乱，以防腹背受敌。他同宋军妥协议和，以江、淮一带为中立地带，然后率领大军开始向北回撤。

公元1260年农历三月一日，忽必烈到达开平，在众将领和部分蒙古贵族的帮助下，抢先宣布登上了王位。

根据蒙古国的习俗，继承汗位，必须在蒙古人的祥地进行，必须有各系宗王参加，才算合法。而忽必烈在开平继承汗位，是有违蒙古人的传统习惯的。因此，他的行为引起了不少贵族诸王的不满。特别是早在忽必烈南征未归时，其皇弟阿里不哥就已经拉拢一些人在策划夺取王位。当阿里不哥听到忽必烈自立为王以后，也于1260年农历五月在阿尔泰山的驻夏之所，宣布继承王位，与忽必烈相对抗，从而引起了长达四年多的内乱。

当时，阿里不哥占有明显的优势，他驻守和林，有控制蒙古本土的便利。在蒙哥死后，他一面以监国身份为蒙哥举哀丧，一边调将布兵，以阻防忽必烈。他先命脱里赤为断事官，占据燕京，号令四方；又命玉木忽儿率领东路大军，出和林、越漠北，谋取开平；再命阿兰答儿率领西路军，下河西走廊，企图与屯守在六盘山的浑都海部会合，以形成对忽必烈的包围形势。当时的关中地区最为复杂。蒙哥死后，他所带领的伐宋主力，退回到六盘山屯守，与原来驻守部队浑都海部会合。阿里不哥在即位前就任刘太平、霍鲁怀到陕西任职，企图控制陕川。这两个人都是忽必烈的死对头，如果驻守在六盘山的这支劲旅悍然进攻京兆，秦、陇、陕、蜀之地将尽为阿里不哥所有，对忽必烈构成致命的威胁。

忽必烈即王位后，先采取的军事措施就是先派廉希宪、商挺为京兆等路宣抚使，安抚关中。当他们得知刘太平、霍鲁怀前来联系六盘山驻军，图谋作乱时，便采取断然措施，将此二人杀死。忽必烈遂令陕西、四川宣抚使八椿节制诸军，又令汪惟良征集秦陇、平凉等地部队，加强关中防务，严密监视六盘山部队。值得忽必烈庆幸的是六盘山驻军不但没有乘势直捣京兆，反而因久驻思归，竟沿河西走廊北撤，这就大大缓和了关中的局势，使廉希宪有机会调部队加紧布防。北撤大军到甘州后，碰上阿里不哥派遣的阿兰答儿部，两军会合后，除一部分继续北撤外，大部分又折回南进。到达甘肃山丹县后，阿里不哥的部队正好同八椿、汪惟良部相遇，双方展开激战。结果阿里不哥所属的军队大败，阿兰答儿、浑都海先后被杀。忽必烈得知情况后，立即带领部队亲征阿里不哥的驻地和林。阿里不哥闻讯逃亡谦州，忽必烈在第一阶段的交锋中终于占据了优势。

公元1261年农历九月，阿里不哥经过一番休整，假意归顺忽必烈，带领部队前往和林。等到达和林后，他采取袭击战的方式，击败忽必烈所属的也先哥部，随之占领和林，接着又挥师南下。忽必烈赶忙命令张柔、严忠嗣、张宏等七部汉军与阿里不哥军大战于昔木土脑儿之地。双方激战数日，难分胜负。至冬，阿里不哥率部北撤，忽必烈部南返。第二年春天，阿里不哥带部队进驻阿力麻里地区。由于阿里不哥治军不严，纵兵烧杀抢掠，内部将领互不团结，导致军力日衰。公元1264年春天，阿里不哥部又闹起饥荒，民怨沸腾，兵士四处逃散。阿里不哥被迫无奈，于当年农历七月归降忽必烈，不久后因病死去。

阿里不哥虽然被打败了，但忽必烈还要应对中原汉族军阀李璟的叛乱。李璟原是成吉思汗南侵时，农民起义将领李全之子。李全后来率起义军投降了蒙古，在攻南宋时战死。其子李璟承袭益都行省职，成为山东军阀，臣服蒙古。忽必烈继王位后，李璟暗中招兵买马，囤积军粮，赶制兵器，准备谋反。当忽必烈同阿里不哥内部相争的时候，李璟加紧了叛乱的步伐，后被人觉，密告忽必烈。当时，忽必烈正同阿里不哥打得难解难分，无力兼顾，便采取重金收买的方式，稳住李璟，并授予高爵，以换取后方的暂时安定。

尽管忽必烈对李璟采取拉拢收买的办法，可李璟见忽必烈与阿里不哥打得正紧，于1262年农历二月三日，公开举行叛乱。他将涟、海等州献于南宋，遣使请求南宋支援。忽必烈立即命诸王合必赤总督诸路军马，讨伐李璟。来自河南、河北、山东等地的蒙汉部队围攻李璟，将李璟困于济南城中。李璟向四处求救，希望得到山东、河北等地军阀的响应，但是响应者无几。数月之后，城中粮尽，李璟无计可施，便投大明湖自尽，由于水浅未能淹死，被蒙军抓获，随后被斩杀。李璟的叛乱很快被平息了。

忽必烈在平定了内乱之后，又开始进行了对南宋的战争，决心统一全国。

这时，偏安江南的南宋小朝廷已彻底腐败。宋理宗赵昀不理政事，阎妃受宠乱政，与宦官董宋臣狼狈为奸。他的后继者宋度宗赵禥、恭宗赵更是昏庸无能，横征暴敛，使江南人民受尽了苦难。

公元1267年，忽必烈以南宋当局扣留信使为借口，命阿术为主帅，举兵大规模进攻南宋。他采取南宋降将刘整的建议，集中优势兵力，进攻江、汉之间的军事重镇襄、樊两城。公元1271年农历五月，又令四川等地军队水陆并进，包围襄樊。襄樊两城军民奋勇抵抗，坚持固城战斗达五年之久。忽必烈久攻不下，便采取张弘范之计，先切断襄、樊两城水上联系，又集中力量先攻陷樊城。襄城守将见大势已去，便投降了忽必烈。

襄、樊是通向江南的大门，占据了襄、樊后，忽必烈兵分两路，一路从两淮方向进攻，牵制宋兵；一路从襄阳沿汉水而下，进入长江，直指南宋都城临安。公元1276年农历正月，在强大的蒙军面前，谢太后、宋恭宗赵只好投降了忽必烈。南宋随之灭亡。

忽必烈统一全国，不仅表现了他卓越的军事才能，同时表明了他有一套经略中原的政治策略。早在公元1271年农历十一月，他就公开宣布废除大蒙古国号，取《易经》中“乾元”之义，定国号为“大元”，并且完全采取了中原历代帝王统治中国的组织形式，从而保证了统一全国战争的最后胜利。随着南宋的灭亡，一个规模空前、全国一统的封建王朝又出现在世界的东方，中原数百年的混乱从此结束。