但随着时间的推移，这项制度的弊端逐渐显现，军户逃亡数量越来越多，卫所兵战力退化严重，永乐朝曾经颁布过严厉法令，试图阻止这个势头，但效果却不好。土木堡之变后，五军都督府的重要武臣都战死在了土木堡，使得五军都督府变成了一个空壳，无法成为京师防御战的领导者，从而导致以于谦为主的兵部变成主导。
于谦之后，军队指挥、管理权都转移到了兵部。
到了崇祯年，各地卫所任命官员连呈送五军都督府的步骤都直接省去，这使五军都督府彻底丧失了武将官员的选拔任命权，变的名存实亡。操练军队、军情声息都由各地的总督巡抚和总兵负责。他们与五军都督府没有上下级关系，不需要向五军都督府报告。
而总督巡抚都是文官，大明以文制武的方略得到了彻底的贯彻。