刘渊，字元海，是西汉时期匈奴首领冒顿单于的后裔。汉高祖刘邦曾将一位宗室之女作为和亲公主嫁给冒顿单于，并与冒顿单于相约为兄弟，所以冒顿单于的子孙都以刘氏为姓。
东汉末年，爆发了黄巾之乱。羌渠单于派其子于扶罗率兵援助东汉，讨平黄巾军。当时正碰上羌渠单于被国人所杀，因此于扶罗将所率的兵众留驻在东汉，自称单于。紧接着董卓叛乱，于扶罗率兵劫掠太原、河东，后驻扎河内。
于扶罗死后，其弟呼厨泉继位，任命于扶罗之子刘豹为左贤王，刘豹即刘渊的父亲。后来，曹操将呼厨泉的兵众分为五部，任命刘豹为左部帅，其余部帅也都由刘姓担任。
咸宁五年（公元279年），刘豹去世，刘渊被西晋朝廷任命为代理部帅。十年后，朝廷又任命他为北部都尉。刘渊在任期间，严明刑法，禁止各种奸邪恶行，他不看重财物，爱好施舍，与他人相交，推诚相见。于是匈奴五部的豪杰都纷纷投奔到他的门下，就连幽州、冀州知名的儒生，后学中杰出的人士，都不远千里来此游历。
晋惠帝司马衷即位后，外戚杨骏任命刘渊为建威将军、五部大都督，封汉光乡侯。成都王司马颖镇守邺城时，也上表推荐刘渊担任宁朔将军、监五部军事。
八王之乱，战火再起，赵王司马伦、齐王司马冏及长沙王司马乂先后以军事力量上台掌权，搞得军心不稳，刘渊的堂祖父，原来的北部都尉、左贤王刘宣等人秘密商议，共同推举刘渊为大单于，并且派他们的党羽呼延攸到邺城，将秘谋的内容告诉刘渊。刘渊请求回故地会合行送葬之礼，司马颖没有答应。于是刘渊让呼延攸先回去，告诉刘宣等人招集五部人众，会同宜阳的诸多胡人，表面上宣称响应司马颖，实际上却是要图谋叛变。
永兴元年（公元304年），并州刺史司马腾联合安北将军王浚，起兵讨伐司马颖。刘渊劝司马颖说：“现在王浚和东赢公这两处藩镇的人骄横强暴，兵众十万，恐怕不是宿卫军以及都城附近的兵士所能抵抗得了的，我请求回去为殿下您劝说五部的人马来赴国难。”
司马颖说：“五部的人马可以担保前来吗？即使能够前来参战，鲜卑、乌丸的人强劲、快捷如同风云，是那么容易抵挡的吗？我想先护送皇上回洛阳，以避开他们的锋芒，接着再慢慢地告示天下，以叛乱的名义，名正言顺地制服他们。刘君以为如何？”
刘渊听后，回答说：“殿下是武帝之子，对王室有突出的功劳，有威望、恩泽广，天下人都钦佩您的风范，谁不想为殿下您赴汤蹈火、献出生命呢？在这种情况下，征发士兵有什么困难？”司马颖默然。
刘渊接着说：“王浚是个小人，而东嬴公只是个偏远的旁支，他们哪能与您抗衡？殿下一旦离开邺宫，就等于向他人示弱，这样，洛阳到达得了吗？纵然到达洛阳，恐怕威望、权力就不在殿下您的手里。一纸檄文，一尺书信，有谁肯去为他人尊奉这些！”
“依君所见，该当如何？”司马颖问刘渊。
刘渊回答说：“东胡的强悍尚且还不能超过五部之人，希望殿下您能鼓励、安抚兵众，平定混乱，镇守住邺城。我当为殿下您以二部的兵力摧毁东嬴公，以三部的兵力斩杀王浚，这两个小人的首级指日就可悬挂在邺城城头。”司马颖听后非常高兴，于是任命刘渊为北部单于、参丞相军事，让他回到左国城。
刘渊回城后，刘宣等人便为刘渊上大单于的称号，二十日内就聚众五万。后来，司马颖战败，刘渊说：“司马颖这个蠢材，不听我的话，自己向相反的方向溃逃，可惜我与他有言在先，不能不去救他。”于是命令右于陆王刘景、左独鹿王刘延年等人率领步骑二万，准备讨伐鲜卑。
刘宣等人闻讯赶来，坚决劝阻道：“晋朝昏庸无道，他们像对奴隶一样对待我们，所以右贤王非常愤怒，承受不了心中怨恨，想有所作为，当时正碰上晋朝纲纪还未松弛，大事还没有成就，右贤王就被杀戮，这是单于的耻辱啊！现在，司马氏父子兄弟互相残杀，这是上天厌恶晋朝的德行，将天下授予我们。单于积德在身，连晋人都佩服，现在正应该振兴我们国家和民族，恢复呼韩邪的基业，这样，鲜卑、乌丸就可以作为我们的援助力量，怎么可以阻挡他们而去拯救仇敌呢！现在，上天借我们的手来消灭晋朝，不能够违背天意。违背天意就不吉祥，违背众人的意愿就不能成就事业。上天赐予了而不接受，反过来就会受到上天的责备。希望单于不要迟疑了。”
听完刘宣苦口婆心的劝说，刘渊道：“你说得对。匈奴应该做高山峻岭，怎么能甘心做低矮的小土丘呢！天下的帝王也不是固定不变的，大禹出自西戎，周文王出生在东夷，谁该做帝王，只是按德行的高低授予。现在，我们有兵众十多万，而每个人都相当于晋朝十个人，如果我们击鼓进军、摧垮晋朝，必将如同摧枯拉朽。这样，最理想的，可以成就汉高祖一样的基业，最差的也不失做一个曹魏。不过，晋朝的百姓也不一定赞同我们。汉朝统治天下的时间久长，恩泽深入人心。所以，昭烈帝刘备仅在一州的土地上奔驰，就可以与天下相抗衡。而我是汉朝刘氏的外甥，我们的祖先又曾与汉朝相约为兄弟，兄长灭亡了，弟弟来继承，不也是应该的吗？况且我们还可以称汉，追认并尊奉后主刘禅，以此来使天下人的期望归向我们。”于是下令将国都从蒲子迁到左国城。不久，从远方前来归附的人就达数万之多。
刘渊在南郊筑坛设祭，自称汉王，国号大汉，赦免境内囚犯，建年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀，立妻呼延氏为王后。署置百官，任命刘宣为丞相，以崔游为御史大夫，宗室刘宏为太尉，其余的人授官各有等差。
