公元前一百二十一年，二十一岁的霍去病被任命为骠骑将军，独自率领一万骑兵从陇西郡出发，他们沿着洮河进入黄河的干流，再折向东北到达金城，即现在的兰州市，从这里渡过黄河，然后沿着弱水，也就是今天的庄浪河向西北方向前进，目标便是河西走廊。河西走廊主要有两股势力，东边是休屠王，西边是浑邪王，他们各自又节制着众多的小部落。
之前，汉军经过两次战役，先是右贤王遭受重创，其次是单于的主力退往漠北草原。于是汉武帝便把目标放在了河西走廊。关于这里的地形地貌以及部落情况，张骞早已给汉武帝做了详细的汇报。
于是，汉武帝派霍去病率军出征，他们顺着庄浪河谷来到了乌鞘岭。乌鞘岭位于甘肃省天祝县境内，因为山脉在此形成了一个缺口，成为进入河西走廊的重要交通要道，所以乌鞘岭被称为河西走廊的门户，翻过乌鞘岭，便进入了古浪河流域。占据这里的是匈奴的遫濮部落，此时是初春，正是牛羊繁衍的时节，遫濮族的族人们都在忙着产羔和放牧，完全没有意识到战争已经离他们很近了。
到达这里后，霍去病任命赵破奴为先锋，率领六百名骑兵出击，遫濮王根本就没有时间去召集他的族人，只能带领着身边的数百人仓促应战。最终，遫濮王被斩首，遫濮部落也从此淡出了历史舞台。
随后，霍去病率领大军继续西进来到了石羊河流域，石羊河是弱水的一条支流，统治这里的是居延部，居延部原本是个大部族，在此之前，已有上万人跟随大月氏迁徙，到了西域，被称为西域居延，位于现在新疆的居延县附近，继续留在这里的只有五千余人，被称为河西居延。他们实力太弱，在汉军到来之前，早就已经逃走了，汉军也不去追击，沿着祁连山继续西行，来到了当阗部的地盘。当阗部的部众也提前就逃上了冷龙岭。再往前便是屠各部，屠各部是休屠王节制的一个小部落，部落首领便是休屠王的儿子，他率领着千余人前来应战，但只损失了数十人后，他们就向休屠王的王城撤走了。他的意图是将汉军引到王城附近，再与休屠王一起围歼汉军，但是霍去病根本就不去追他们，继续西行，来到了焉支山的南部，这里有两个部落，分别是折兰部和卢胡部，但是他们也一样，在汉军到来之前就已经全部逃走了。
于是，汉军便来到了浑邪部，浑邪部是河西走廊实力最强的部族。王城位于羌谷水西岸，是当初月氏人控制河西走廊的时候，修建的城池名为昭武城。由于霍去病的大军行军速度过快，浑邪王压根就想不到汉军可以在不击败休屠王的情况下，就如此快速地进入到了自己的地盘，召集人马已经是来不及了，他让自己的儿子率领千人守城，他自己则亲率两千余骑，迎击汉军，结果可想而知，只激战了片刻，浑邪王就顶不住压力率军撤走了，霍去病马上下令攻城，汉军万弩齐发，向城内守城的士兵根本没办法阻挡，昭武城轻而易举就被攻破了。此战汉军只损失了数十人，而获得的战利品却是异常的丰厚，不仅俘虏和斩杀了千余人，而且在这些俘虏里，竟然还有浑邪王的王子、相国、都尉等一大批的重量级人物。
至此，霍去病只用了六天，便迅速地荡平了遫濮、居延、当阗、屠各等部，还大败了浑邪王，可谓是六日破五国，胡尘千里惊。浑邪王逃走后，就连忙派出快马前往各个部落去搬救兵，企图将汉军围歼于王城之中。然而，霍去病在昭武城只休息了两天，补充完战马和补给后就向东撤走了。这次他的目标是休屠王的王城，休屠王城建在石羊河的边上，位于今天武威市四坝镇三岔村的附近。此城也是当初月氏人修建的，原本休屠王在得知浑邪王的王城被汉军攻破后，还在幸灾乐祸。可紧接着霍去病的大军，就向他自己的王城杀了过来，他非常明白，就靠这座年久失修的古城是根本阻挡不了汉军的。于是他吸取了浑邪王的前车之鉴，立即就率领部众逃走了，留给霍去病的是一座空城。但是由于他逃跑得太过匆忙，连祭天金人都给忘带了，祭天金人是匈奴的两大宝器之一，每次有重大活动，这两个宝器都是要摆出来的。伊稚斜单于为了笼络河西走廊的各个部落，就将祭天金人交给了休屠王保管，没想到现在却成了霍去病的战利品。
就这样，霍去病率领汉军只用了十天，在河西走廊来回奔袭，如入无人之境，在这里休整了一天后，霍去病还是感觉不过瘾。于是，他率领大军，又沿着焉支山和龙首山的南路再次向西行军。此时的浑邪王已经集结了近两万大军，正准备去追击汉军，救出王子等被俘人员，没想到汉军竟然自己回来了。于是浑邪王就在合黎山的南路集结大军等待着汉军。而且此时浑邪王还得到一个情报，霍去病的骑兵已经没箭可用了。为了验证真假，浑邪王还派出数名骑哨去骚扰，果然汉军射过来的，都是用过了很多次的钝箭，这让浑邪王更加的信心满满，准备在合黎山下彻底消灭汉军。同时，他让折兰王和卢胡王也各自率领千骑尾随着汉军，等到浑邪王与汉军开战，他们便立即从背后发起偷袭，两面夹击汉军，可是让他想不到的是，霍去病早已了解了他们的一举一动。在休屠王的王城里，他就让所有骑兵每人都用羊皮包裹好四十支崭新的箭矢，并且隐藏起来，等到和浑邪王开战的时候才能用。其次，折兰王和卢胡王偷偷地尾随着汉军，可他们想不到的是，霍去病在行军途中，已经让仆多率领一千骑兵悄悄地脱离大军向南深入数十里，隐藏在一处山谷之中，等到折兰王和卢胡王的人马过去之后，仆多才率军出来，悄悄地跟在了他们的后面。
很快，霍去病的大军便与浑邪王的大军在合黎山的南面相遇，大战一触即发，浑邪王认为汉军已经没箭可用了，也就用不着用其他的战术了，命令所有骑兵直接冲锋过去，人多打人少，一轮过去，汉军就应该彻底崩溃了。可此时，只见所有的汉军都从羊皮的包裹里取出了崭新的箭矢，朝着冲过来的匈奴骑兵连续地发射，感觉有着无穷无尽的箭一样。一时间，漫天的箭雨落在了匈奴骑兵的身上，大批的匈奴骑兵跌落马背，浑邪王这才意识到他自己可能是上当了，两军短兵相接后，伤亡都很大，但是，匈奴骑兵已经彻底丧失了优势，于是浑邪王只能下令撤军，两大主力已经停战了，可后面的折兰王和卢胡王却还在与仆多打得难舍难分，霍去病及时抽调一百骑兵朝后方的战场杀了过去，两面夹击匈奴，折兰王和卢胡王见状，不敢继续恋战策马便逃，汉军则穷追猛打，最后折兰王身中数箭而亡，卢胡王负伤后，本想下马投降，却被仆多一刀，就结果了性命。
此战过后，汉军虽然打败了浑邪王，还斩杀了两个匈奴王，但是自身的损失也非常大，最重要的是，战马已经不足千匹，箭镞也所剩无几了，一支精锐的骑兵几乎快要变成步兵了，失去了机动性的大军，如果继续在匈奴的腹地逗留，那是极为危险的。
于是，霍去病下令班师回朝，汉军缓慢撤退回，浑邪王不敢贸然出击，只是尾随其后准备找机会下手。五天后，汉军才抵达了折兰部和卢胡部所在的焉支山南路，此时，折兰王和卢胡王已经战死了，剩余的部落也都如惊弓之鸟早已逃走了，于是汉军顺利地通过了这里，可浑邪王跟到这里之后，却不跟了，他开始垂涎这两块牧场，就派兵去兼并这两个部落去了，浑邪王不追了，可休屠王却来了，他要想办法把他的祭天金人给抢回去。
此时，汉军的粮草也已经告急了，行军速度变得越来越慢，用了十一天才到达遫濮部落的地盘，又用了三天，从古浪水翻过乌鞘岭，抵达了庄浪水，休屠王跟到这里时，已经提前派人去联络了河湟谷地的羌人，希望能和他们一起联手灭掉这支汉军，但是羌人拒绝了。于是，霍去病便带领汉军沿着庄浪水渡过黄河，一路率军回到了陇西郡。
至此，霍去病的第一次河西之战就此结束，这一战，汉军缴获了匈奴的祭天金人，俘虏了浑邪王的王子，以及相国和都尉等一大批贵族，还斩杀了遫濮王、折兰王、卢胡王，共计掳获和斩杀的匈奴人高达八千九百六十人。汉武帝非常满意，给霍去病加封了两千二百户，这是霍去病第一次用他自己的战术打败匈奴，也为他第二次河西之战埋下伏笔，打下了基础。
