经历了野战的惨败，作为贱岳七本枪之一的猛将“虎加藤”加藤清正的到来对于日军来说无疑让低迷的士气得到了一些安慰。
二十四日卯时，杨镐和麻贵率领明军开始向蔚山要塞群发起总攻。作为文官的杨镐亲自披甲上阵督战。左协的茅国器攻击东营，伴鸥亭；李如梅攻打蔚山要塞群的中心——标高24米的蔚山倭城，右协李芳春攻打城西的太和江倭城。其余各部明军纷纷扫荡其他外围工事。
部署好后，明军发起进攻，先是火炮射击，各样火炮俱发，轰天震地，烟焰沸空。城中倭屋，一时火起，北风大起，风火所被，贼众披靡。攻打蔚山的李如梅也放火箭烧城，导致城里房舍及江边倭船二只，为火箭触燹，烟焰涨天。
其中，茅国器率领的浙军攻势最猛，平明时分就攻陷了东营，随后又攻破了伴鸥亭，直逼西部洞。与此同时，李芳春率部轻松捣毁了太和江倭城。但是蔚山倭城却因为地形原因，一时半会难以攻破，把守在此的浅野幸长拼死坚守，足足抵抗了5个多小时，尽管如此，蔚山日军最终还是抵挡不住明军进攻，被迫撤退逃离，于是李如梅部攻陷了蔚山倭城。蔚山要塞群外围工事除了蔚山城（城隍堂），伴鸥亭，太和江，东营被明军攻陷以外，还有西部洞，蔚山城出丸、及全长五千多米的大环郭工事在这仅仅6个小时内也被相继突破。至此蔚山要塞群外围工事全部沦陷，日军损失惨重，残兵败将集体逃亡至还没修完的标高50米的地形过于陡峭的岛山城，这已经是蔚山要塞群日军最后的据点，一旦被明军攻破，日军只能等死。
日军逃往岛山城后，明军紧追不舍，一路追亡逐北，荡涤外城，杀的日军尸横遍野，血流成河。杨镐、麻贵在鹤城山督战，“诸军齐奋薄城”；副总兵李如梅挥军朝岛山方向追杀，沿途扫荡倭寇巢穴，“土窟、铺幕，一时尽焚，斩级不知其数”。李如梅直捣蔚山日军最后据点岛山城，这让日军已经进入了相当危险的处境，为了活命它们只能狗急跳墙，拼死抵抗。明、朝联军用一个巨大的钩子勾住岛山城三之丸的一段外围城墙，然后命数十人用力拖拉钢丝，硬是将部分城墙拽塌。明军冲着这个突破口登城准备冲进城内，日军用火绳枪拼死抵抗。李如梅于是下令再次用火箭烧城，好容易逃进城里的日军又品尝了一顿烧烤大餐，被明军烧的恨不得赶紧羽化而登仙，太田一吉手下的庆念在日记中记载：“石墙之下被射入火箭，宍户、太田、浅野的物品财宝全部被烧，烟雾薰得人们睁不开眼，也张不开嘴，火势很快蔓延到城中，数千名劳工、武士被火烧死，明军爬上城墙，强行闯入城内。此时我能说的只有一句：‘如果今天就是忌日，我愿笑着迎接死亡’”庆念已经做好了觉悟的准备，他不知道自己还能活多久。岛山日军人心惶惶，如同世界末日到来。
但是，岛山城地形对明军极端不利，“土窟重重，石筑艰险无 比”，“甚为坚固”，“形势险绝”，“城之坚固，固无比也。且因断山，筑 城极巧，真平地之一山城也”，二之丸与三之丸之间有着十米以上的陡坡及工事阻碍，而本丸与三之丸的落差更高达25米，日军自本丸居高临下，火力全程覆盖二之丸及三之丸，且三之丸的登城道左侧，又全程暴露在二之丸的火力之下。明军在不能一鼓作气攻下本丸制高点的情况下，尾随日军进入三之丸的攻城部队及后续支援部队，则全程处于二之丸和本丸的火力覆盖之下。因此，当日军重新组织起来并进行有序反击之后，一鼓作气攻下岛山已经不可能实现。此时的日军已经狗急跳墙，加藤清正，太田一吉等各个主将甚至亲自把守，火绳枪弹丸如雨，给明军也造成了一定的损失。明军此时已经战斗了超过6个小时，体力大大损耗，一鼓作气攻陷地形陡峭而且工事坚固的岛山城希望不大。于是，杨镐，麻贵下令暂停进攻，主动撤军回营修整。
明军停止攻城，日军则趁机加强岛山城的防御，并利用岛山高耸险峻的地势，居高临下地对山城下的明军左、右 两协施放铁炮，使其难以逼近，加藤清正在西生浦的部队三四千人也趁机通过船只经过太和江赶到蔚山，带着物资进入岛山城。与此同时，明军调集附近堵截其他日军的明军赶来蔚山准备再次进攻。杨镐命令浙军驻防江岸阻击日军可能从水面救援的部队。
这一天的战斗，明军总计斩首661颗，生擒日本军官4人，缴获马匹、器械、盔甲、刀、铳、旗帜等战利品不计其数。原本两万多日军在这两天的战斗中折损过半，明军战死200余人。因为大将军炮这样的重炮由于朝鲜南部拉跨的地形运不到这里，明军用的都是虎蹲炮和弗朗基这样的中小型火炮，岛山城过于高耸陡峭，这些火炮难以打中，反倒是日军居高临下利用地形层层阻击，很容易击中攻城明军，而且攻城部队发起仰攻也很艰难，登城需要付出很大的代价。
当天，西生浦的日军从水路来救岛山城。明军游击陈寅指挥用大炮轰击日军舰队，连续击毁3艘舰船，日军船队被迫撤退。当晚，太田一吉部下将领的田中小左向加藤清正请示出城夜袭明军。加藤清正同意后，田中小左随即率领50骑马武士潜出岛山城外。但是出城后，他才发现明军守备十分严密，根本没有机会袭击，只能返回了岛山城。
明军在日军火绳枪射程以外的地方安营扎寨，修整军队，准备第二天继续进攻。
