1935年1月28日，以哈东支队为基础，吸收地方青年义勇军成立了东北[DongBei]人民革命军第三军，李兆麟任第二团政治部主任，与团长李熙山率领200余名战

　　士在珠河、延寿、宾县、阿城等地活动[HuoDong]。不久，李兆麟调往一团任政治部主任，与团长刘海涛率领该团独立活动[HuoDong]在延寿、方正等地，并与谢文东、李华堂部联合攻打了方正县城，取得了胜利。根据中共[ZhongGong]中央《八一宣言》精神，为加强对北满地区抗日[KangRi]武装的统一指挥和领导，1936年1月28日，在汤原境内召开了东北[DongBei]反日联合军军政扩大会议，经会议协商，成立了东北[DongBei]反日联合军总司令部（后改为北满抗日[KangRi]联军总司令部），赵尚志为司令，李兆麟为总政治部主任。1月30日，汤原游击总队改编为东北[DongBei]人民革命军第六军，为加强领导，李兆麟被派到第六军任政治部主任。为巩固汤原根据地，李兆麟率部队[BuDui]除掉了盘踞在老钱柜的伪森林警察队。从此，汤原一带成为我抗联第三、第六军的根据地。

　　1936年9月18日，中共[ZhongGong]珠河、汤原中心县委及第三、六军党委联席会议在汤原召开，李兆麟被选为中共[ZhongGong]北满临时省委[ShengWei]执行委员。

　　1937年冬，日本帝国主义进一步加紧对东北[DongBei]抗日[KangRi]联军集中活动[HuoDong]的松花江下游地区的进攻，战斗空前激烈和残酷，东北[DongBei]抗日[KangRi]游击战争进入最艰苦的斗争时期。1938年5月，中共[ZhongGong]北满临时省委[ShengWei]鉴于松花江下游地区形势的急剧变化，为突破敌围、开辟新的游击区，保存和发展抗日[KangRi]武装力量，决定组织东北[DongBei]抗联第三、第六、第九、第十一军主力部队[BuDui]向西北海伦远征。远征分三批进行，前两批西征部队[BuDui]于10月先后到达小兴安岭西麓海伦地区，开辟了新的后方基地。11月，李兆麟率抗联第六军教导队和十一军一师由宝清后方基地出发西征。经过一个月的艰苦跋涉，最终到达目的地，与先期到达的部队[BuDui]胜利会师。在组织西征过程中，李兆麟和他的战友们创作了著名的《露营之歌》，生动地记述了抗联指战员艰苦卓绝的西征经历。

　　1939年4月，中共[ZhongGong]北满临时省委[ShengWei]改为北满省委[ShengWei]，李兆麟被选为省委[ShengWei]常委兼组织部长。5月，根据北满省委[ShengWei]的决定，抗联第三、六、九、十一军合编为东北[DongBei]抗日[KangRi]联军第三路军，李兆麟任总指挥。之后抗联第三路军在李兆麟的指挥下，驰骋在黑嫩平原地区，依靠山区，对日本侵略者开展了广泛的游击战争，历经四十几次大小战斗，先后袭击和攻克了通北县伪警察署、龙门车站、讷河三合屯，克山北兴镇、讷河县城等地，冲破了日寇所谓“黑（河）、北（安）、龙（江）三省汇攻计划”，缴获敌人各种轻重武器500多件，歼灭和俘虏敌人750多人，牵制了大量的日伪兵力，并在讷河、克山、依安、拜泉等县建立起抗日[KangRi]救国会和党团组织，使当地的抗日[KangRi]游击斗争出现了一个新高潮，有力地支援了全国的抗日[KangRi]斗争。

　　1940年春，抗联第三路军缩编为第三、第六、第九、第十二等四个支队，继续在小兴安岭西麓坚持抗日[KangRi]游击战争。同年秋冬，第三路军先后攻克克山县城、肇源县城，给予敌人以沉重打击。