刘聪病重的时候，曾经征召镇守长安的刘曜入为丞相、录尚书事。刘曜是个聪明人，知道手握重兵，才有地位，回返平阳，就真是虎落“平阳”受犬欺了，所以固辞诏命。刘曜也是有争夺最高权力的野心的，只不过过去没有机会，靳准推翻刘粲，盼望已久的机会终于来了。

　　刘曜，字永明，是刘渊的族子。小时候父母双亡，刘渊把他抚养成人。史称其“性拓落高亮，与众不群。读书志于广览，不精思章句，善属文，工草隶。雄武过人，铁厚一寸，射而洞之，于时号为神射。尤好兵书，略皆诵”。论血统嫡庶，他与刘聪、刘粲自然不能相比，但论才能勋劳，他不甘于拜下风。

　　晋愍帝在长安即位后，刘聪把攻取长安的重任专委刘曜。刘曜多次进攻长安，也多次遭到挫折。汉建元二年（316年）十一月，汉军破长安外城，把内城包围得水泄不通，城中粮食断绝，死者大半。晋愍帝已经无力抵抗，派侍中宋敞到刘曜军营送降书，然后他乘羊车，裸露上身，口中含一块玉璧，身后载着一口棺木，出东门向汉军投降。刘聪以平长安之功，授刘曜假黄钺、大都督、督陕西诸军事、太宰，进封秦王。

　　靳准发动政变，刘曜从长安起兵奔赴平阳，到达赤壁（今山西河津）的时候，遇见从平阳逃出来的太保呼延晏。在呼延晏、朱纪和范隆等人的拥戴下，刘曜即皇帝位，改元光初元年（318年）。刘曜有野心、有实力，又有靳准平阳之变的特殊历史条件，终于名正言顺地当了皇帝；倘若以武力逆取，就不免要大费周折。在任命百官时，他以石勒为大司马、大将军，加九锡殊礼，增封至13郡，晋爵赵公。石勒当时虽尚未与汉国公开决裂，但刘曜此举只是羁縻而已。石勒也把平阳之变看作一个机会，以平乱的名义赶赴平阳，平阳羯、羌、巴人降者10余万落，石勒迁之于司州诸县。在刘曜和石勒两股势力的包围中，靳准寡不敌众，部下都知道平阳守不住了，遂杀靳准，推靳明为首，向刘曜求降。石勒率大军驻屯于城外，见靳明不投降自己，怒而攻克平阳城。在刘曜的策应下，靳明率1.5万人降刘曜。刘曜、石勒从此分道扬镳了。

　　次年四月，刘曜回师长安，即定都长安，建宗庙，立社稷。他下诏说：“朕的先世，兴起于北方。光文皇帝（指刘渊）建立汉宗庙，以顺从那时百姓的愿望。如今应该更改国号，以单于为祖。请商议后报告给朕。”群臣上奏说：“光文初封为卢奴伯，陛下又封在中山。中山在赵的范围内。请改为赵。”于是，刘曜颁布改国号的诏命说：“以水承晋金行，国号曰赵。牲牡尚黑，旗帜尚玄，冒顿配天，元海配上帝。”刘曜以这个诏命，宣布他的政权具有重新开始的意义，更重要的是宣布不再打“汉”的旗号，而以胡族的身份建立政权，表现出高度的民族自尊心和自信心。由于稍后石勒建立了另一个赵国，故史称刘曜的赵国为前赵、石勒的赵国为后赵。

　　刘曜称帝之初，主要任务是巩固政权。当时陈仓（今陕西宝鸡东）、阴密（今甘肃灵台西）和草壁（阴密东）等地还有原晋南阳王司马保的势力，其部众有氐、羌和屠各人。刘曜连续发兵攻打司马保，到光初三年（320年）初终于把司马保的势力赶往桑城（今甘肃岷县东北）。

　　外部安定没有多久，内部便出了乱子。刘曜的部将谋反被揭发，牵连到巴氐酋长句徐、厍彭。句徐、厍彭等50余人被抓起来，都准备杀掉。光禄大夫游子远有远见，劝刘曜不要多杀，刘曜不听。子远力谏，刘曜认为子远助长叛逆，把他也关起来，而把句徐、厍彭等全都杀了，并陈尸示众3天，然后又将尸体扔进河里。残酷的镇压不仅没有吓住巴氐人，而且激起了他们强烈的反抗，长安周围的羌、氐、巴、羯30多万人一时俱起，关中顿时陷入大乱，长安白天不敢开城门。游子远又从狱中上表谏诤。刘曜仍不觉悟，边撕谏表边骂道：“大荔奴（胡三省注曰：“大荔，戎种落之名。子远盖戎出也。”）死到临头，还敢上表，是嫌死得晚吧！”叱令左右把他推出去杀了。这时，中山王刘雅、郭汜、朱纪、呼延晏等大臣一同跪下，十分痛心地说：“子远关在狱中，危在旦夕，还不忘谏诤，是出于对社稷的忠心。陛下即便不能听从，也不必杀他。要是子远早上被杀，我等晚上就死，以加重陛下的罪过。天下人都将离陛下而去，还有谁来追随呢？”刘曜这才赦免了游子远。

　　然而，刘曜仍然企图用武力镇压巴氐等少数民族。子远再次劝谏说：“陛下如果能够采纳臣的办法，那么就不必劳动大驾亲征，一个月就能解决问题。”刘曜冷静地问道：“卿说说看。”子远说：“那些人并非有大志，决无非分之想，只是畏惧陛下严刑酷法，求免死而已。陛下杀的已经杀了，若是能够把他们被罚没为奴隶的家人放出来，让他们得以团聚，恢复旧业；他们得到一条生路，还能不投降吗！要是自知罪重不降的，臣愿带5000弱兵去为陛下征剿。否则，贼徒众多，布满山川，即使陛下亲征，也不是一年半载所能消灭的。”刘曜觉得他的主意不错，高兴地宣布大赦，又任命他为车骑大将军、开府仪同三司、都督雍秦诸军事。游子远领兵出屯雍城（今陕西凤翔），立刻有10余万人投降。他又进军安定（今甘肃临泾），参加造反的各少数民族大都归降。惟有阴密的句氏宗党5000余家负隅顽抗，被游子远所灭。甚至连原先保聚在上郡的氐羌10余万落，这时也被游子远一并解决了。子远保举其酋长权渠为征西将军，封西戎公，迁徙其部落20多万口到长安。

　　刘曜在长安建立政权，远离原来匈奴五部故地。虽然有一部分屠各匈奴跟着他西迁，但是，关中主要是氐、羌、巴氐等民族的聚居之地。相对于这些少数民族和汉族来说，刘曜本族在人口上处于绝对的少数。因此，刘曜如果要建立稳定的统治，就不能不考虑如何正确处理与关中各民族的关系问题。氐、羌、巴氐等民族的反抗已经给他敲响了警钟，今后能否在关中站稳脚跟，很大程度上就取决于他在这个问题上解决得怎样。