1925年，随着第一次东征陈炯明胜利和平定滇、桂军阀叛乱后，广东革命政府军事改组的问题被提上日程。6月14日，在中国共产党的倡议和国民党左派廖仲恺等人的促进下，国民党中央政治委员会召开第十四次会议，决定成立中华民国国民政府。24日，大会作出“改组军队，统一军队编制，国民党所属的军队，一律改称国民革命军”的重要决议。

　　当时，隶属广东革命政权的军队除了由黄埔学生军改编成的“党军”以外，还有许崇智的粤军、谭延闿的湘军、朱培德的滇军等大大小小十几支队伍(另有多种统计数字)，首脑均称“司令”。其中较大的队伍又分成几派，如李济深、李福林、梁鸿楷虽然也为粤军高级将领，但与司令许崇智并不融洽。而身为“党军司令”的蒋介石还兼任粤军参谋长。为此，苏联顾问瓦西里·康斯坦丁诺维奇·布柳赫尔(中国名加伦)等提出:首先需要撤销“那些其编制五花八门而又多如牛毛的独立团”，因为有些“独立团名为团，实际上人数很少，且军官多于士兵”；将编制、人员和装备方面都大相径庭的各师在编制上统一，人数、武器配备要达到标准化；避免各部队自行随意扩充。

　　按照加伦的计划，黄埔军应该发展壮大，而谭延闿的湘军和粤军李济深部、滇军朱培德部是“可以改造的对象”，粤军的其余部队，则应该“从待遇或工作方面都施加限制，不使其战斗力有所增强，以便于将来与之周旋”。为确定每个军的人数和编制，身为总顾问的加伦从6月16日直到7月初逐个找各部队的首脑“进行谈判”。每支部队的首脑都和加伦进行“讨价还价，希望人越多越好，编制越灵活越好”。

　　黄埔军是由黄埔教导团发展而来的。黄埔军校成立后，孙中山接受苏联顾问的建议，决定建立受军校直接领导的两个教导团，其武器来源为苏联援助以及粉碎广州商团叛乱时缴获的枪支。1924年9月到12月，两个教导团相继成立，分别由何应钦、王柏龄担任团长，王登云(缪斌接任)、张静愚任团党代表。教导团每团1000多人，实行“三三制”。士兵大多数是从浙江、江苏、安徽、河南、湖南等地招来的青年工人和农民，由军校的教官和第一期毕业生充任各级军官，因此具备较好的军事素质。

　　教导团完全按照现代军事理论配置管理。其团部直属部队有特务连、侦察队、重机枪连、炮兵连、通讯连、卫生队等。营连分别设党代表和军事长官副职。1925年4月6日，教导团改称党军，一、二两个团扩编为党军第一旅，同时建立了第三团，蒋介石以“党军司令”的身份节制该旅。当月底该旅又扩编为第一师，何应钦任师长。自回师广州消灭滇桂叛军后，蒋介石又先后成立了第四、第五、第六三个团，随即以这三个团编为“党军”第二师，派王懋功担任第二师师长。

　　在加伦的鼓励下，蒋介石提出了将党军组建成一个军编制的计划。军事委员会随即建议蒋介石收编正在扩编中的吴铁城旅为党军第三师。但蒋介石表示担心自己的结拜二哥许崇智对此不满，提议“将吴铁城师直接拨给许崇智指挥”。军事委员会经讨论，决定将吴铁城师收归为委员会直辖。

　　经过艰苦的谈判，加伦终于说服了大小“司令”，同意部队正规化方案:即部队改组后，每个师应下辖3个团，即9个营，共27个步兵连。每个连应有士兵99名，勤务兵9名，共108人。每个师共有5500人，其中士兵4100人，特殊技术兵种450人，后勤850人，另有参谋人员若干。保留的独立旅下辖为两个团，共有3200人，士兵与后勤人员的人数比例与师相同。但鉴于某些部队有其特殊性，允许个别师辖两个旅，但要呈报军事委员会批准。

　　7月6日，军事委员会正式宣誓就职，汪兆铭为军事委员会主席，胡汉民、伍朝枢、廖仲恺、朱培德、谭延闿、许崇智、蒋介石等7人为委员(蒋介石自7月2日起患“鼻瘤”，8日“突发脑溢血”，一直住院到21日，后来以身体不好、校务军务繁忙为由请求辞职)。军事委员会“受中国国民党之指导及监督、管理统率国民政府所辖境内陆海军航空队及一切关于军事各机关”。军事委员会下设训练部、参谋团、海军局、航空局、秘书厅、兵工厂等机关。“在尚未物色到合适人选之前，苏联顾问暂时担任国民革命军中的一些领导职务”，比如，航空局和海军局直接聘任原两局的苏联顾问李糜和西米诺夫为局长。李糜接任后，除继续为原有的飞行训练工作外，并增设航空学校，自己兼任校长，李糜从苏联购买“德·哈维兰”式飞机6架、“爱弗罗”式和“容克”式各1架，机身上概书“中山”两字，时人称之为“中山航空队”，亲率教练人员(内苏籍三人，德籍二人)进行教练，两期共培育黄埔学生数十名。

　　8月4日，谭延闿、许崇智、朱培德、程潜等“司令”联衔通电表示服从改组说:“实行中国国民党之议决案及训令，即日各解除所有总司令职务。自此以后，一切军事设施，悉受成于军事委员会……而完成国民革命之业。”

　　8月26日，军事委员会决定将在粤的各省革命军队一律改称为“国民革命军”，军队改编后，一律去掉地方名称，统一编为5个军，各军先后建立了党代表制、政治部和政治工作制度。黄埔军校学生和一部分粤军编为第一军，蒋介石任军长，周恩来任政治部主任，顾问是切列潘诺夫。国民革命军第一军由于从建军起特别注重战斗训练、武器配备、人员补充和政治工作，而政治部主任和大多数政工人员以及一些指挥官是中共党员，因此实力最强，战斗力居于其他各军之上。

　　虽然如此，蒋介石并没有放弃扩充第一军的计划。廖仲恺遇刺后，蒋介石借抓捕凶手为名，突然解除了粤军梁鸿楷等部的武装。此后他将部分被缴械的官兵进行整编，改称为国民革命军第三师，辖第七、第八、第九3个团，由谭曙卿为师长，并送粤军司令、自己的结拜“二哥”许崇智去上海养病。这样，蒋介石在10个月内，将他的直属部队从一个教导团迅速扩大到一个军，其实力遥遥领先于广东各路“司令”。