最上郡的上杉军南下后，固守在天童城的天童赖贞便有了底气。先后将关山卡、立石寺城等地攻落。不仅如此，他还派家臣八森阿波、成尾胜兵卫等人和一千军势协助上杉军攻打楯冈城。楯冈城守将楯冈满茂眼见无人来援后便与其弟楯冈满广、楯冈高茂还有养子楯冈亲茂（楯冈满广之子）一同在本丸切腹自尽，随后楯冈城便开城了。
随着楯冈城的失守，最上义光的日子就更加难过了。伊达辉宗虽然夺取了千岁城和高箭城，然而两地无险可守，导致陶晴贤率大军一来他便赶紧率军弃城后撤了。最上义光和伊达辉宗二人只能困守在山形城内，因为他们也得知了盂山卡、立石寺城等地都被上杉军占据，通往大崎家和伊达家的道路已经被切断了。
两天后，陶晴贤、色部胜长、新发田重家、天童赖贞、藤田定吉、须田满亲、加地彦次郎、福王寺孝重等人便率两万四千大军将山形城团团包围起来。天童赖贞为了出一口被最上义光压着打的恶气，主动担任了先手役，率军将残破不堪的东南西北四座出丸攻落，讨取了最上家家臣新关义久和若木政实。固守城内的最上义光和伊达辉宗这对难兄难弟眼见双方实力相差悬殊后决定不准备负隅顽抗，最上义光便派宿老氏家定直出使上杉军本阵请降。
然而陶晴贤和众多上杉家诸将都不准备同意最上义光的投降，他们都认为最上义光是一个反复无常的小人，今天投降了指不准哪天又反了，还不如将其攻灭。
陶晴贤之前在严岛吃过一次类似的亏，他不打算吃第二次（尽管最上义光和伊达辉宗是真的想投降）亏。所以，陶晴贤表面上同意了最上家投降的请求，之后便令新发田重家、藤田定吉、小幡景宗、须田满亲四人率部在最上军、伊达军打开城门后迅速将大手门控制，而后一鼓作气攻入三之丸、二之丸。而最上义光和伊达晴宗并不清楚陶晴贤的计划，反而亲自到二之丸候着准备向陶晴贤等人赔罪。
就在最上义光才下令打开城门的一瞬间，三千上杉军同时将大手门和偏门抢占，将毫无防备的守军斩杀。最上义光和伊达辉宗二人被这突如其来的袭击震惊了，他们半天都没反应过来。等到上杉军将三之丸大部分占领后，最上义光和伊达辉宗才反应过来，急忙往本丸跑去。不过，等到他们二人跑到本丸门口时发现，城门已经紧闭，本丸内的守军正拈弓搭箭的瞄着他们二人。
“里见萨摩！我待你不薄为何倒戈？！”最上义光看到了馆塔上站着的竟然是自己曾经调略的里见源右卫门后便气不打一处来。
“是啊，待我不薄。若是没有听你的鬼话，我至于和你们一起守住山形城内？多说无益！”随后里见源右卫门便示意身后的足轻将数个首级朝着最上义光扔去。
“你！！！里见萨摩为何杀我家人？！”最上义光看了看首级后发现其母小野少将、正室大崎御前、幼弟光直都被里见源右卫门所害。
“让上杉军的诸位大人省点力而已！”里见源右卫门说完不禁笑了起来。