和旧式湘军、淮军相比，晚清新式陆军由于采取了西方训练方式，在军纪军容方面有了较大改变。一些反映北洋军队的史料中，多是记录北洋军烧杀抢掠、杀人放火，与土匪无异，但在北洋陆军创建前期，军纪颇为严明，这一点儿不应忽略。

　　针对彰德秋操，指挥部门制订了很多额外的规定，确保在军事演习期间不扰民。其中《午年秋季河南彰德府大操教令》第35条规定:“人民之土地物产，凡因大操致有损坏者，统归阅兵处赔偿。故各镇司令处及各混成协司令处如见有系该镇队损坏之处，务速将其地段及损坏之多寡报告阅兵处。设有不当损坏而亦遭损坏者，则其赔偿即责成该军队办理。”

　　有了规定，实际操作如何呢？根据当时在彰德秋操时任下级军官的冯玉祥将军的回忆：“一天晚上突然下起了大雨，但段祺瑞从实战角度出发，仍下令冒雨前进，部队前进过程中“现买草料，现买给养。原来五六十斤的帐篷，经雨一淋，弄成一百多斤……大队经过高碑店到达定县时，已经午后四点钟，每个人都拖泥带水，狼狈不堪。在这时就看出我们的军纪的确不坏，参谋人员都早走来了，弟兄们自己架起枪来，冒雨挺立着，一动不动”。“事后，段（祺瑞）统制向人民家口调查，问士兵有无扰乱行为、打破碗盏没有、短少了东西没有，这倒是段先生的细心处”。（冯玉祥《我的生活》）

　　从这些言语中我们可以看出，北洋陆军的草料给养，是“买”的，即使在雨夜天，也并未发生“抢掠”现象，事后，北军总指挥段祺瑞还亲自到村民们家里调查，看有无扰民的现象。

　　当时的西方媒体也曾感叹北洋陆军军纪严明。“抢劫、强奸等旧式军队里司空见惯的行为，在新军中很少发生。地方民众对1905年第一次军事大秋操的反应可以证实这个结论。老百姓刚听说即将举行军事演习时，他们担惊受怕，疑惑重重。袁世凯感到有必要消除他们的疑惧，张贴了安民告示，说明演习部队并无不良动机。部队到达后，民众惊喜地发现军人纪律严明，买东西一律付钱，因而感到满意。”（1906年11月1日《纽约时报》）

　　秋操显示新军缺乏实战意识

　　彰德秋操尽管堪称完美，但也暴露了很多问题，首先是步兵骑兵配合不紧密，尤其是骑兵在近代战争中的作用没有发挥出来，“马队侦察敌情一事最觉迟钝”。《袁世凯奏议》中检讨说：“至于两军马队，未能探悉敌情，以至主将调度无所依据，直至开战，始识方针。是马队搜索之不力，实有难辞之咎。”

　　其次，北洋、南洋等新式陆军仍缺乏实战意识。“各军步队时有藐视火器功力之弊是也。两军相战，飞丸霰集，一队当前，则一队必受伤损，此易睹之理也。而各队中或有过敌前炮火之中夷然不以为念者，此与兵术甚不相合”。彰德秋操第二日，“南军主力部队与北军右翼部队相冲突，两军发枪颇激烈，迨至互相接近，将起冲击时，南军卧地发枪，北军竟直立如故”。“第三日，北军混成协步队与南军步队一支队相遇，亦同坐此病，不过前日为北军，此日则在南军”。（《袁世凯奏议》）

　　再次，新式陆军的很多军官军事素质依然很差。根据冯玉祥的回忆，当时北军每天晚上都要进行总结和讲评。一天晚上，第五镇统制张怀芝被问及“第五镇来了多少人？留守的有多少人？有多少病号？多少轻病？多少重病？帐篷来了多少？马匹来了多少”时，竟脸红耳赤，一句也答不上来，只好搪塞说“我记不得了”。

　　“尽管彰德秋操出现了很多弊端，但这是正常的，不足为怪，因为中国新式陆军毕竟刚刚成军，需要努力的还有许多方面。”张华腾教授总结说。