当天，和加藤清正不和的小西行长也派出了二百多人骚扰求礼，明军司宋等将由原川出阵，朝鲜全罗兵使李光岳及平安兵使李庆港由南原出阵与明军合势，增援求礼。尚未至求礼，日军已被当地驻守朝军击退，当晚，彦阳的岛津丰久部趁夜色朝蔚山方向进军。
准备就绪的明军在杨镐的指挥下，对岛山城发起了最后一轮大规模进攻。战斗一直持续到四日黎明，战况惨烈仅次于去年十二月二十五日，庆念在《朝鲜日日记》中写道："拂晓，（明军）又来进攻。向城内发射铁炮及石火矢，城池陷入水火之中，一边架起梯于开始登城，在松明照耀之下，（日军）将视野内（敌军）或斩落，或射落。"明军围城十一日，露宿野外，先逢寒雨后又是西北风猛吹，士皆堕指，因为朝鲜人拉跨的后勤，人马饥冻，军马路毙，军容索然，士气不振。与之相反，城内日军见救援近在眼前，故孤注一掷，面对明军的猛攻，不惜耗尽最后的弹药储备，大筒、铁炮不间断施放，弹丸如雨。明军死伤甚多，依旧不得登城，诸军有所畏惧，不敢上前。杨镐先斩退却士兵数人，又将畏怯不振的保定营兵骑兵游击李化龙绑于军前以正军法，诸军见此，不得不死战。遵化营杨千总（缺名）奋臂先登，拔城附棚，为日军聚统而击，两赚中四弹而亡：遵化右营游击陈愚闻亦从城北冲入栅内，家丁戒其轻进，不从继续登城，已而中丸重伤，侥幸不死：大同游击杨万金手执金鼓登城力攻，中丸阵亡。杨万金也是蔚山之战中明军战死的级别最高的将领。他的灵柩被运回王京后，李昖亲自吊唁。
两军交战之际，城中传出伪书，假称"加德、安骨、竹岛、釜山、梁山等地十一倭将领六万兵来救"。右协得其书报于杨镐与麻贵。杨麻二人亲见对岸日军各负五色之旗接肩而立，又见江面皆是日军船只纵横，却不知其实数，恐对伪书信以为真，以为确是各据点的日军大举来援。
无论是不是真的，现在的现实是，明军因为天气寒冷和高丽棒子的日常坑爹，后勤拉跨，将士饥寒交迫，士气低迷，明军总兵力不过三万六，朝鲜人只有三千多人，逃兵数量比实际到的还多，这些天又死伤了数千人，反而日军援军越来越多，兵力上已经超过联军，不仅如此，这些日军几乎集中了侵朝日军大多数精锐部队，而且每人都带了几天的军粮，此时的明军早已断粮。日军援军部队已有绕出军后的苗头，杨镐眼见联军兵将饥馁且疲，士气低落，知事不可为，再不退有被包夹之嫌，于是同麻贵商议，决定旋师。
得知杨镐打算撤军，朝鲜人李德馨急忙赶到大营劝说杨镐。按照朝鲜人的打算，是想让明军分出一万兵力，冒着被日军包击的风险，在倭城以西箭滩度阳通路一带迎战日军援军。朝鲜人自以为选择的迎战地点利于厮杀，可问题是日军占据江面绝对优势。陆军随时可在船队支援下从太和江甚至东川任何有利地点登陆，单防城西毫无意义。更何况，此时的朝鲜军早已溃逃大半，这已经成了常规操作。杨镐不是傻子，他才不会当炮灰。
四日辰时，杨镐下令撤军，巳时初，明军开始集中撤退，步兵和伤员先撤，骑兵殿后，让人无语的是，坑爹的高丽棒子这才想起来自己后勤运输的责任，军粮今天才运到，可是除了浪费人手没有半点作用，杨镐下令能带走的全部带走，带不走的全部烧掉，不能便宜了鬼子。李如梅，，解生，颇贵，摆赛等人率领骑兵负责殿后，但是箭滩南岸的吴惟忠，祖承训成了弃子，联军无力救援。
直到午后，杨镐本队开始撤离。尽管明军大部队已经撤退，但是数万日军面对南岸的几千明军仍然不敢动。直到发觉明军营地狼烟四起，才知道明军烧了营地撤退，这才发起救援作战。
然而，南岸的祖承训出乎意料的率先向日军发起了进攻，毛利秀元亲自率领二，三番队和明军交战，厮杀很久，双方互有损失，几万日军愣是短时间内啃不下这块硬骨头，一时半会儿无法渡江，被几千明军堵截在太和江南岸。本来应该作为先锋的黑田长政和蜂须贺家政因为畏惧明军，带头避战不敢行动，事后二人因此都受到了处分。
先锋二人怯战，吉川广家都看不下去了，带头渡江，一番队的日军终于有所行动，此时明军大多数已经撤离，只有少数滞后的明军被日军三面夹击。吉川广家从兵营城迂回，切断了杨镐向东的退路，杨镐只能向西撤退，日军水军趁机登陆，殿后的明军发起反击，射杀数名日军，日军不敢靠近，开始后撤。与此同时，箭滩南岸的明军也在和日军苦战，二，三番队日军仍然无法渡江。明军西部的退路仍然畅通，杨镐顺利向西进发。日军不敢追击，只能在岛山城周边集结，眼睁睁的看着明军主力大摇大摆的撤走。岛山城终于解了围，援军把军粮送入城内，饥渴多日的日军终于能吃上饭，但是饥不择食狼吞虎咽之下，大批日军活活噎死。少数人得以生还。
杨镐西撤时，岛津丰久率部从蔚山进军，切断了杨镐从彦阳撤退的道路，杨镐只能改变路线，向庆州撤退，岛津丰久已经无力阻拦。与此同时，箭滩南岸明军也因为兵力不足，虽然拼死抵抗但是也战死二百余人，尽管如此，他们仍然在数倍于己的日军中杀出一条血路，成功突围撤离。
明军全部撤退，日军再次追击，李如梅率领殿后的骑兵再次反击，斩首数级，日军不敌再次败退。但是这些骑兵收兵后日军再次冒出，反复数次，一些明军感到愤怒，再次反击，杀死很多日军，日军知道明军防守严密，无法袭击，只能撤退。当天明军安全抵达庆州。
关于双方的损失，有必要详细叙述一下，因为言官诋毁和后世抹黑，蔚山之战被黑的一塌糊涂。虽然此战势如破竹的明军在岛山城折戟，功败垂成。但是绝对不是后世诋毁的大败。损失也远没有这么夸张，反而日军损失远远超过了明军。
