抗日战争爆发后，为开展山东[ShanDong]抗日战争，中共山东[ShanDong]省委（书记黎玉）根据党的洛川会议精神和中共北方局的指示，派干部分赴山东[ShanDong]各地，恢复和建立党的组织，发动抗日武装起义，组建抗日武装，揭开了山东[ShanDong]人民在中国共产党的领导下进行抗日武装斗争的帷幕。
　　由于山东[ShanDong]处于联系华北、华中的战略枢纽地位，对于实现中共中央当时提出的巩固华北、发展华中的战略方针具有重要意义，中共中央对山东[ShanDong]的工作给予了极大的关怀，派来大批红军干部，协助山东[ShanDong]党组织建立和领导抗日武装。1938年5月下旬，郭洪涛受中共中央派遣，率一批干部到达山东[ShanDong]，继黎玉任山东[ShanDong]省委书记（此时黎玉赴延安向党中央汇报工作）。随后山东[ShanDong]省委扩大为苏鲁豫皖边区省委，郭洪涛仍任书记。此后，山东[ShanDong]各抗日游击队从过去基本上处于流动作战的状态，进入大力开辟与发展抗日根据地阶段。经过1938年一年的艰苦斗争，山东[ShanDong]的抗日武装力量有了很大的发展，对敌斗争取得了一系列胜利，建立起若干抗日根据地及广大的游击区。

　　武汉失守后，全国抗战进入相持阶段。为进一步加强山东[ShanDong]的军事指挥和政治领导，中共中央决定成立中共山东[ShanDong]分局和八路军山东[ShanDong]纵队。1938年11月，中共中央派张经武、黎玉率抗日军政大学、陕北公学毕业的学员和一部分红军干部、原白区工作干部近200人抵达边区省委驻地岸堤。12月，根据中共中央政治局11月决定，中共苏鲁皖边区省委改为中共中央山东[ShanDong]分局，郭洪涛任书记，郭洪涛、张经武、黎玉为委员。山东[ShanDong]分局的成立，加强了建立和坚持山东[ShanDong]抗日根据地的领导工作（1939年5月至9月，中共北方局曾一度决定山东[ShanDong]分局扩大为苏鲁皖分局，以郭洪涛、朱瑞、徐向前、罗荣桓、陈光、黎玉、张经武、彭雪枫为委员，郭洪涛为书记）。
　　在山东[ShanDong]分局成立的同时，八路军山东[ShanDong]纵队宣布成立，统一指挥山东[ShanDong]的抗日武装力量（不包括冀鲁边和鲁西地区），张经武任指挥，黎玉任政治委员。山东[ShanDong]纵队是中共山东[ShanDong]分局具体领导下的地方武装力量。它的建立，标志着山东[ShanDong]人民抗日起义武装已由若干分散的游击队成长为战略上统一指挥的游击兵团。1939年春，八路军第一一五师代理师长陈光、政治委员罗荣桓率师部及三四三旅主力挺进山东[ShanDong]。6月中共中央派徐向前、朱瑞到山东[ShanDong]工作，于8月1日成立了八路军第一纵队，徐向前任司令员，朱瑞任政治委员，统一指挥山东[ShanDong]及江苏北部地区的八路军各部。10月，朱瑞接任山东[ShanDong]分局书记，并兼任山东[ShanDong]军政委员会书记，统一领导山东[ShanDong]党、政、军、民工作。
　　由于山东[ShanDong]分局执行了党中央关于建设抗日根据地的一系列正确方针和政策，由于一一五师和山东[ShanDong]纵队协同作战，山东[ShanDong]抗日根据地和人民武装迅速扩大。至1940年底，相继建立了鲁西、清河、鲁南、鲁中、湖西、胶东、冀鲁边、滨海等8块抗日根据地；一一五师发展到7.6万余人，山东[ShanDong]纵队发展到5.4万余人；抗日民主政权建设也取得了很大成绩：建立了两个行政主任公署、10个专员公署和79个县政府。党的组织也得到了很大发展，党员达到11万多人。
　　1941年至1943年7月，是山东[ShanDong]抗日根据地最困难的时期。日本侵略军慑于山东[ShanDong]抗日力量的发展，对各抗日根据地进行惨无人道的“扫荡”和“治安强化”运动，使根据地遭到严重的分割、封锁和破坏。在极端困难的形势下，山东[ShanDong]分局依靠并率领根据地人民，发扬英勇顽强、艰苦奋斗的革命精神，实行减租减息、精兵简政、厉行节约的正确政策，进行分散性、群众性的游击战争，采取“翻边战术”，针锋相对地反击了敌人的封锁、“蚕食”和“扫荡”。
　　正当山东[ShanDong]军民同日伪顽的斗争处于极端艰难的境地，山东[ShanDong]分局领导对一些重大问题急需统一思想的时刻，党中央于1942年3月派刘少奇来山东[ShanDong]指导工作。刘少奇对山东[ShanDong]几年来的工作作出了正确评价，尖锐地指出了存在的问题，明确了今后的斗争方针，统一了领导成员的思想，对扭转山东[ShanDong]工作的被动局面起了决定性作用。随后，中共山东[ShanDong]分局发布了减租减息、租佃借贷等条例，进行了减租减息试点，在山东[ShanDong]抗日根据地内以放手发动群众为中心，广泛深入地开展了减租减息的群众运动，进一步加强了建党、建政、建军、建立人民武装和抗日群众团体的工作，使山东[ShanDong]的工作建立在扎实的群众基础上，使山东[ShanDong]抗日根据地在同日伪顽的斗争中获得很大发展。
　　为了加强对敌斗争和各方面工作的统一领导，中共中央十分注意协调、统一山东[ShanDong]分局、山东[ShanDong]纵队与一一五师之间的关系。1939年8月，北方局批准成立山东[ShanDong]军政委员会，统一领导山东[ShanDong]党政军民的工作，朱瑞任书记。1941年8月，中共中央书记处和中央军委决定，由山东[ShanDong]分局统一领导山东[ShanDong]党政军民各方面的工作，分局暂由朱瑞、罗荣桓、黎玉、陈光组成，朱瑞任书记；山东[ShanDong]纵队归一一五师首长指挥；山东[ShanDong]纵队与一一五师两军政委员会合组为新的山东[ShanDong]军政委员会，罗荣桓为书记。1942年1月，中共中央军委又发布统一山东[ShanDong]军事指挥令，决定山东[ShanDong]纵队所属部队划为地方军，山东[ShanDong]纵队司政机关改为山东[ShanDong]军区司政机关。8月，八路军山东[ShanDong]纵队正式改为山东[ShanDong]军区，黎玉任山东[ShanDong]军区政委；一一五师统一指挥山东[ShanDong]部队。遵照中共中央1942年的《关于统一抗日根据地党的领导及调整各组织关系的指示》（即“九一”指示），山东[ShanDong]抗日根据地于1943年3月实现了党的一元化领导，朱瑞继续任山东[ShanDong]分局书记（9月，朱瑞调延安，罗荣桓接任）；同时，成立新的山东[ShanDong]军区（一一五师和山东[ShanDong]纵队合为山东[ShanDong]军区），罗荣桓任司令员兼政委，并任一一五师政委、代师长，黎玉任山东[ShanDong]军区副政委，肖华任政治部主任并任一一五师政治部主任；撤销一一五师、山东[ShanDong]纵队所属各旅、各支队的番号，部队编为13个兵员充实、领导坚强的主力团，其余部队编为地方武装，加强地方武装和民兵建设。同时，各战略区、各地区也实行了一元化领导。从此，在山东[ShanDong]分局的领导下，山东[ShanDong]抗日根据地在战略方针、军事建设上达到了真正完全的统一。
　　这一时期，山东[ShanDong]分局、山东[ShanDong]军区部队针对日伪军继续以“总力战”不断“蚕食”根据地的情况，采取各种形式和灵活策略，广泛开展群众性游击战争和政治攻势。同时，在根据地内实行了减租减息，并开展了大生产运动。在此期间，山东[ShanDong]分局还遵照中共中央的部署，在全党开展了整风运动，通过整风提高了党员干部的政治觉悟和思想水平。到1943年7月，山东[ShanDong]抗日根据地的形势开始好转，山东[ShanDong]革命力量在对敌斗争中的地位大为改善。
　　1943年下半年以后，国际反法西斯战争节节胜利，山东[ShanDong]抗日根据地的形势也越来越好。1944年春，山东[ShanDong]军民在山东[ShanDong]分局领导下展开攻势作战，抗日根据地逐步恢复和扩大。1945年春、夏，继续展开攻势，歼灭敌人大量有生力量，并收复了一些县城。日伪军被迫龟缩在大中城市和铁路沿线，形成了抗日军民对敌的包围之势。8月9日，毛泽东发出对《对日寇的最后一战》的声明。10日，日本政府发出乞降照会。11日，中共山东[ShanDong]分局、山东[ShanDong]军区根据中共中央指示，立即作出大反攻的决定。在罗荣桓的指挥下，山东[ShanDong]部队组成五路大军对拒不投降的日伪军展开猛烈反攻，取得重大胜利。

　　抗日战争胜利后，中共中央调整全国战略布局，山东[ShanDong]大批干部和部队开赴东北，新四军主力北进山东[ShanDong]。鉴于战略局势的变化，1945年9月，中共中央决定中共中央华中局北移山东[ShanDong]，与山东[ShanDong]分局合并组成华东局，山东[ShanDong]分局完成抗日战争时期的历史使命。
　　中共山东[ShanDong]分局成立后，认真执行党中央关于开展独立自主的游击战争、建立和发展抗日根据地的一系列方针、政策，广泛发动群众，培养了大批革命干部，建设了强大的人民武装，积累了丰富的斗争经验，建立了面积达12.5万平方公里、拥有2400万人的山东[ShanDong]抗日根据地，在人民群众中树立了崇高的威信。