伊稚斜死后，儿子乌维、孙子詹师庐先后顺利继承单于位。儿单于詹师庐年少敢为，果断把战略重心西移，并对屡战屡败的右贤王一系予以压制。詹师庐的统治历史记载很少，不过还是能从蛛丝马迹中看出一些内部的裂痕。他的左大都尉即曾密谋杀死单于后投降汉朝。不过儿单于更厉害，不仅干掉了左大都尉，而且以此为诱饵，引诱汉军出塞迎接。汉朝果然中计，派赵破奴领兵出塞，结果被8万骑兵包围，全军覆没。赵破奴也被俘虏，在匈奴忍了8年才逃回来。
詹师庐于公元前105年即位时年龄还很小，所以被称为“儿单于”。可公元前102年，他就病死在进攻受降城的途中，在位仅仅三年，不免让人怀疑他的死因。联系到他的继承者恰恰是他刻意压制的叔辈右贤王句犁湖，就更让人怀疑了。可惜史无记载，只能当成是一个永远无法破解的谜了。
句犁湖运气也差，单于瘾没过一年就死掉了。其弟且鞮侯即位。且鞮侯在位时收降汉将李陵，封为右校王，并招为女婿。李陵及其后人也不含糊，不仅用心帮助匈奴和汉朝作战，还搅和进单于大位之争，此为后话，暂且不表。
且鞮侯单于临终前遗言：立长子为单于。可这位左贤王驻牧地，而且患有大病。且鞮侯死后他迟迟没有在单于庭出现。众大人以为他已经病死，于是推举且鞮侯的次子做了单于。后来左贤王赶到，兄弟情深，其弟坚决让他继承。长兄推辞不过，只好接受，成为狐鹿姑单于。狐鹿姑单于也是匈奴单于中第一个有专门名号的单于，狐鹿姑并不是他的本名。既然兄弟间没有争议，诸位大人也就认可了。
狐鹿姑和弟弟约定，自己死后由弟弟即位，并封之为左贤王。孰料左贤王没几年就病死了。按理，应该由左贤王的儿子代替父亲继承大位。可人的私心总是无限的，狐鹿姑失而复得单于大位还不满足，还想把权位留给自己的儿子，于是自己的儿子被封为左贤王，侄子先贤掸则被封为日逐王。日逐王负责管理已经成为匈奴战略中心的西域，虽然也是肥缺，比起单于总归差远了。这为后来的单于大位争夺埋下了伏笔。
公元前89年，蒙古草原发生空前的大雪灾，人畜冻死无数，国力大损。狐鹿姑单于以为是上天降罪，心生悔意。四年后，狐鹿姑病死，临终前对左右说：“我子（左贤王）少，不能治国，立弟右谷蠡王。”这下更坏了，既然后悔，直接恢复日逐王的继承权就行了，何必另选一个？
更糟糕的是，他的正妻颛渠阏氏对右谷蠡王并不感冒，于是和丁零王卫律等人合谋，封锁了单于归天的消息，同时和他们一系的权贵歃血为盟，准备把单于大位交给自己的亲生儿子左谷蠡王，即后来的壶衍鞮单于。可是没有不透风的墙，狐鹿姑单于的遗言还是传了出去。左贤王怨恨父亲剥夺了自己的继承权，右谷蠡王更是切齿愤盈。无奈很多大人已经被争取了过去，自己势单力孤，只好消极抗拒，拒不出席大人会议。左右贤王、左右谷蠡王号称“四角”，是匈奴权力的四个支柱，现在一下子少了两个，统治阶层不和的裂痕严重扩大化了。
壶衍鞮单于同样年幼，只好由母亲代摄国政。颛渠阏氏和卫律等人不愿意再和汉朝对抗下去，希望恢复“和亲”，换取时间恢复日渐凋零的国力。被扣留多年的汉朝使臣苏武、马宏等先后被释放。但在争夺西域的问题上，匈奴不愿让步，结果“和亲”不成，反而因为小小的乌孙国招来汉朝的又一次大规模打击。壶衍鞮单于对乌孙恨之入骨，于公元前72年冬亲率大军进攻乌孙，结果不仅没有找到乌孙主力，还在归途中遇到暴风雪，“一日深丈余，人民畜产冻死，还者不能什一”。乌孙国趁机回师报复，东方的乌桓、北方的丁零也趁火打劫。三面受敌，箭镞猬集于一身，益发不可收拾。
屋漏偏逢连阴雨，公元前71年、前68年，蒙古草原又连续发生严重的雨雪灾害。壶衍鞮单于在经历了17年的内部不稳、外部打击后心灰意冷，撒手西去。异母弟左贤王被推举为单于，即虚闾权渠单于。虚闾权渠单于一上台就干了件蠢事。他不喜欢年老色衰的颛渠阏氏，把她废黜，撇在一边，另立了一个大阏氏。父以女贵，颛渠阏氏的父亲左大且渠见女儿被冷落，心生怨恨，暗中开始联络亲信，准备在适当时候动手。
曾临朝秉政多年的颛渠阏氏更是厉害，因为耐不住寂寞，趁举行大人会议的时候，勾引了右贤王屠耆堂。屠耆堂也需要在单于庭有个靠山，于是顺水推舟，如同伉俪。
虚闾权渠当国9年，对内部矛盾毫无办法，对外依旧不思改弦易辙，继续和汉朝争夺西域。结果不仅昔日的盟友楼兰、车师被汉朝纳入彀中，连青海一带的战略伙伴——羌人，也被汉将赵充国用屯田、步步为营的方法打得落花流水，纷纷投降。
公元前60年，虚闾权渠单于吐血而死，连继承人也没来得及选择。单于在世时重用郝宿王刑未央。这个刑未央似乎不是匈奴人。匈奴贵族从冒顿单于时就被划入左、右王系统，郝宿王的名号非左非右，应该是异族归降后所封，和丁零王卫律等类似。这个姑且不论，单说他在单于死后马上派人驰往各地，召集众贵人召开临时大人会议，选举新的单于。
颛渠阏氏果然是女中豪杰，见机会来了，当机立断，联合弟弟左大且渠都隆奇，赶在各地贵臣到来之前，把情夫屠耆堂推上了单于宝座，号握衍朐鞮单于。
这个屠耆堂在后来遭到呼韩邪攻击时曾向弟弟求救说“匈奴共攻我”，似乎他并不是匈奴人，至少不是挛鞮氏家族的成员。为了给他制造一个好身份，颛渠阏氏曾宣称他是乌维单于的耳孙，即八世孙。这个说法明显有漏洞。壶衍鞮单于和虚闾权渠单于才不过是乌维的第一代孙，这第八代距离也太远了！
屠耆堂是怎么爬上右贤王高位的，不得而知。不过他的残暴倒是尽人皆知。为了巩固自己的地位，他一上台就开始大肆杀戮前单于的子弟近臣，郝宿王刑未央首先掉了脑袋。虚闾权渠单于的两个儿子跑得快，长子呼屠吾斯藏匿民间，次子稽侯珊投奔了岳父乌禅幕，算是捡了一命。按惯例，屠耆堂娶了颛渠阏氏，做了真夫妻。小舅子都隆奇得到重用。自己的弟弟则继承了他留下的右贤王位。
日逐王先贤掸又一次失去继承单于大位的机会，十分气愤。此前作为屠耆堂的下属还曾与他有过冲突。新单于为人残暴，自己早晚要被收拾。思来想去，没有什么解决办法，干脆向前辈学习，率众数万投向了汉朝。日逐王归汉，使汉朝和西域的道路彻底畅通，对匈奴的未来产生致命影响。
日逐王的姐姐是乌禅幕的夫人。日逐王归汉后，屠耆堂大怒，先是立从兄薄胥堂做了新的日逐王，然后又找借口把先贤掸的两个弟弟抓了起来，间接帮助薄胥堂剪除障碍。乌禅幕见小舅子要倒霉，连忙向单于求情，结果握衍朐鞮单于不但不放人，反而把两个人都杀了。乌禅幕大怒，于是联合姑夕王等左翼诸王，拥立稽侯珊做了呼韩邪单于，公开与屠耆堂决裂，并发兵攻打他。屠耆堂倒行逆施，丧失人心，手下士兵纷纷逃跑，连右贤王——自己的亲弟弟也不愿意帮他。屠耆堂走投无路，拔刀自刎。
呼韩邪单于虽然夺得单于宝座，可并不懂得治国驭臣之术。他一上台就犯了两个错误：一是自认为天下太平，把各地军队全部遣散，手底下就剩下一点亲兵。二是不顾右贤王曾间接帮助过自己的功劳，派人到右地联络右地贵族，密谋诛杀右贤王。右贤王也是无能，既然不帮助哥哥，索性好人做到底。可他偏偏又收留了都隆奇。都隆奇劝说右贤王造反，右贤王听从了。但是给自己留了一手，他自己不称单于，反而撺掇堂兄日逐王薄胥堂当单于，称屠耆单于，把薄胥堂放到了烤鸭炉里。
屠耆单于马上发兵攻打呼韩邪。呼韩邪缺兵少将，一战即溃，屠耆单于顺利夺取了单于庭，这下匈奴又有了两个单于。
这时居住于西北地区的呼揭王与屠耆单于的亲信唯犁当户想陷害右贤王，诬蔑他想做乌藉单于，起兵造反。屠耆单于二话不说，马上把右贤王砍头论罪。事后越发觉得不对劲，右贤王如果要称单于早就称了，还会先把单于位置让给自己？这里肯定有冤情。谋反是唯犁当户举报的，先杀了他再说。
呼揭王一看大事不妙，赶紧自立为乌揭单于，起兵造反。一看出现三个单于，先贤掸的哥哥也坐不住了。这单于本来就应该是我们弟兄的，凭什么让你们争来抢去？于是他也自立为车犁单于。乌藉都尉本来奉命率兵2万在东方防御呼韩邪，这下也来凑热闹，自称乌藉单于，拥兵自立。一瞬间匈奴出现了五个单于，史称“五单于并立”。
车犁单于和乌藉单于兵少，屠耆单于先拣软柿子捏，与都隆奇分别率兵前往镇压。两单于无力抵抗，逃往西北故地。乌揭单于趁机前来会合，考虑到日逐王一系在匈奴民众中威信最高，乌藉、乌揭主动放弃单于称号，共同尊奉车犁单于。
车犁单于纠集4万兵马，与屠耆单于对抗，结果还是打不过，只好再逃。次年，呼韩邪乘着屠耆用兵西北的机会，发起进攻。屠耆亲自领兵6万迎击，不料身陷重围，绝望中挥刀自戕。车犁单于见呼韩邪实力强大，遂主动放弃了单于称号。乌藉都尉虽然又再次自称单于，但很快被呼韩邪剿灭，五单于终于回归到一单于。
经过一番大战，呼韩邪也是实力大损。正当他准备收拾残局时，后院突然起火。他的哥哥呼屠吾斯原来流落民间，呼韩邪起事后把他找回来，封为左谷蠡王。不料他反而恩将仇报，占据了东部广大地区，自立为郅支骨都侯单于。与此同时，屠耆单于的堂弟休旬王率部众西走，纠集了几万兵马，自立为闰振单于。一时间又出现了三单于并立的局面。
让呼韩邪庆幸的是，愚蠢的闰振单于没有来攻击自己，而是引兵东向，直奔郅支单于。郅支兵多，很快消灭了闰振。收编了闰振的兵马后，郅支单于的实力空前强大，于是向呼韩邪发起猛攻。呼韩邪居然又一次毫无防备，单于庭一下子被夺了去，人马损失惨重。不久，屠耆单于的幼弟又趁呼韩邪兄弟相争之机逃到西部，收集原来屠耆单于的几千旧部，自立为伊利目单于。伊利目单于兄弟众多，借助诸位兄弟在右地的影响，很快纠集到数万兵马，几乎控制了整个匈奴右地。一时间匈奴帝国再次回到三国争雄的状态。三单于当中新败的呼韩邪实力最弱，仅仅保有左地部分地区。走投无路之际，呼韩邪被迫把目光转向了南边的汉朝。
短短几年间，匈奴先后出现了九个单于，这其中，屠耆堂等四兄弟可以肯定不是挛鞮氏家族。呼揭和乌藉单于是不是不得而知，但可以肯定不是家族的主宗，充其量是支脉。如此多的非家族成员自立为单于，而且都曾经获得大批贵族和部众的支持，和挛鞮氏家族始终没有在匈奴民众当中确立自己的唯我独尊地位密切相关。一个家族地位的确立，靠的是祖先的无人能出其右的不世功业。像成吉思汗，不仅靠一己之力统一了蒙古各部，救民于水火，促成了一个新民族的形成，而且南征西讨，灭国四十，创建了空前绝后的横跨欧亚的蒙古帝国，为子孙留下了取之不尽的庞大家业，也让所有接受他领导的人获得了足够的财富。如此“厚恩”，怎能不让后人对黄金家族感恩戴德，顶礼膜拜。拉施特丁在《史集》中写道：
“由于塔塔尔人非常伟大和受人尊敬，其他非塔塔尔人各氏族也以塔塔尔人的名字为世人所知……这些非塔塔尔人由于把自己列入塔塔尔人中，也觉得居于伟大和可敬的地位……各种非蒙古部落，均仰赖成吉思汗及其氏族的洪福，才成了蒙古人。这些人原来都各自有自己的名字，但如今为了自我炫耀，他们都自称为蒙古人。”
匈奴显然没有做到这一点。冒顿单于的功业姑且不论，但就他缔造的帝国而言，还停留在简单的军事征服基础上。丁零、乌桓等民族虽然臣属于其下，却并没有同一民族的认同感。因为匈奴人本来也没有把他们当自己人。以狼为图腾崇尚孤狼精神的匈奴英雄们对手下败将向来是另眼相看。对这些民族，冒顿单于经常是给他们换一块地方去生活，并没有打散他们原来的组织结构。这些二等公民对匈奴、对挛鞮氏家族恨之入骨，随时准备反抗复仇，哪里会有认同感！和成吉思汗视蒙古各部均为自己的平等子民相比，冒顿单于就显得太狭隘了。其他民族不认同，本民族也有问题。一个建立在军事基础上的帝国，如果这个家族没有让自己的军事机器始终高效运转的能力，别人想的只会是取而代之或另找一个担得起如此大任的英雄。至于大人会议的掣肘，倒不是关键。
匈奴的另一个问题来自那些归诚的英雄们。这些英雄不仅自己获得了高位，他们的子孙“亦常在权宠，为贵臣”。他们带给匈奴很多优秀的文明成果，弥补了草原帝国的不足，但也带去了一些不好的东西。颛渠阏氏违背狐鹿姑单于的遗嘱，有卫律的襄助。乌藉都尉两度起兵称单于的背后，是飞将军李广的曾孙、北校王李陵之子的鼎力支持。这些人积极参与匈奴内部权力竞争，谋的往往是一己私利。
