曹魏时置
五兵尚书，隋唐始设
兵部，成为六部之一，《
新唐书·百官志一》：“兵部。尚书一人，
正三品；侍郎二人，
正四品下。掌武选、地图、车马、甲械之政。其属有四：一曰兵部，二曰职方，三曰驾部，四曰
库部。”；尚书在
秦汉时是
少府的属官，初名
尚书台，三国时代，尚书台脱离少府，成为全国政务的总汇。
西魏、
北周废尚书省。隋唐后又恢复
尚书省，
高颎任
尚书左仆射，成为最高
行政首长，自此尚书省成为魏晋至宋的中央最高政府机构之一。兵部尚书主兵籍、器仗，
安史之乱后，中央政权削弱，尚书
诸司成为闲曹，所谓“兵部无戎帐”“一饭而归，竟日无事”。明代
正二品，清代从一品。明代兵部尚书称本兵，既管军政又管战略，威权极大。如景帝时期的
于谦。明王铎《兵部尚书节寰袁公夫人宋氏行状：“当事知公（
袁可立），加公兵部尚书，赐乘传归。”
兵部尚书制度的渊源可追溯至西周时管理军政要务的司马，春秋战国时期沿置。秦汉时设太尉掌管军政。至魏晋时期，曹丕称帝后，为适应形势需要，对军事领导体制进行改革，在权力逐渐壮大的尚书台下设立五兵尚书主管军政要务，将全国军事行政权力由太尉府转移至尚书台五兵尚书。魏晋南北朝时期基本沿袭五兵尚书制度，名称和内设机构偶有变化，如北魏孝文帝时改为七兵尚书，北齐时复称五兵尚书。这一时期的五兵（或七兵）尚书，“专总兵要”，奠定了后世兵部尚书的基础。
隋朝继承并发展了南北朝逐渐成熟的三省六部制，正式设立兵部尚书，作为六部之一，隶属于尚书省。唐代承袭隋制，进一步完善了三省六部体系。唐初，兵部尚书定为正三品，其下设兵部侍郎（正四品下）为贰官。兵部尚书领导下辖的兵部、职方、驾部、库部四司（后有名稱變更，如驾部改为车驾，库部改为武库），其职权广泛，包括“掌天下军卫武官选授之政令”，并管理军籍、地图、军械甲胄、马政等。唐代兵部是重要的军事行政机构，“大约除军令由君相外，凡军政之权咸属兵部”。然而，在唐代中后期，随着使职制度的发展和非职事官体系武官的兴起，兵部在武官铨选方面的权力有所旁落，兵部尚书也逐渐演变为一种地位尊崇但未必掌握实权的职位，具体事务多由兵部侍郎处理，其统兵、对节度使的实际统辖权亦趋于弱化。
宋代，军事权力主要集中于枢密院，“军师卒戎之政令，悉归于枢密院”。兵部职权受到限制，初期仅掌管仪仗、卤簿等事务。宋神宗元丰改制（1078年-1085年）后，兵部机构得到健全，设立尚书一人、侍郎一人，下设兵部、职方、驾部、库部四司，职掌有所扩大，包括管理兵卫、武选、车马、甲械、牧政等。但兵部依然不掌握实际的领兵、用兵之权，其职能偏重于文书行政，如苏轼所言“武选隶于大官（吏部），兵政总于枢辅，故司马之职，独省文书”。南宋基本沿袭此制，兵部职权无太大变化。
金代，兵部于熙宗时期（1135年-1149年）始置。最初，其长官由吏部侍郎或尚书兼任，之后才设立专职的兵部侍郎，再后置兵部尚书。作为管理国家军务的中央机构，兵部在金代政治中扮演了重要角色。
明代是兵部尚书职权发展的顶峰时期。洪武十三年（1380年），明太祖
朱元璋废除中书省和丞相，六部直接对皇帝负责，兵部的地位随之提升。朱元璋为加强中央对军队的控制，体现“以文驭武”的原则，逐步将原属大都督府的部分兵权（如武官袭替）转移至兵部；在五军都督府设立后，兵部更成为事实上权力高于五军都督府的最高军事行政机构。兵部尚书作为兵部最高长官，总领部务。洪武二十九年（1396年），明太祖将兵部下属各司统一改称为清吏司，分别为武选、职方、车驾、武库四清吏司，进一步明确了兵部的组织结构。明代兵部尚书负责管理天下武官的选授、训练考核，管理卫所军籍、军需器械，参与边防建设、军务决策（参赞军务），有时还需亲自统兵出征或执行特殊任务。其选任也常要求具备相关的兵部任职经历或地方治理经验。
清朝初期，于天聪五年（1631年）设立兵部，顺治元年（1644年）后逐步完善官员设置，设满、汉尚书各一人及侍郎等官。其内部机构也设武选、车驾、职方、武库四清吏司，大体沿袭明制。然而，清代兵部的权力受到多重制约。在王大臣会议拥有中枢决策权时，兵部仅能执行会议决定。军机处设立后，兵部更需听从军机处号令行事，且各省总督、巡抚可通过军机处直接向皇帝汇报，进一步分散了兵部的权力。在人事权方面，虽然规定武职隶属兵部，由武选司管理选授，但八旗军队的管理权属于八旗都统衙门，兵部无权干涉，其主要管理对象是绿营的兵册、编制、官职、训练、装备等事务。因此，相较于明代，清代兵部尚书的职权有所降低。