抗日战争爆发后，甘祖昌所在部队[BuDui]被改编为八路军第一二〇师第三五九旅。甘祖昌任旅供给部军需科科长，奔赴抗日最前线。

　　1939年初，国民党顽固派制造反共摩擦，断绝八路军军饷和军需供应，封锁陕甘宁边区。于是，中共中央将三五九旅从前线调回陕北，一面执行保卫党中央的任务，一面进行大生产。

　　当时，组织上交给甘祖昌的任务是，负责领导修械所、纺织厂、鞋袜厂等军需工厂。这几个厂除修械所外，都是白手起家。在筹办大光纺织厂时，既无原料，又无厂房，既无织布机，又无熟练的纺织工人，真是困难重重。甘祖昌找到一个曾学过织布的红军战士崔米兰做师傅，办了一个织布训练班。他借用老乡的土织布机，用旧存的一捆棉纱试织成窄面白布，成本比市场上便宜三分之一。他向旅长王震汇报后，王震立即从警备团调20多名会织布的战士做技术骨干，再从旅直机关抽调部分公勤人员当学徒，并仿造了8架织布机，派人到山西购了一批原料，办起了纺织厂。不久，纺织厂又开了8眼窑做机房，新招了100多名工人，自制了10架织布机，改进了操作技术，从而在短期内解决了全旅l万多人的穿衣问题。由于甘祖昌工作成绩显著，1941年他被提升为三五九旅供给部副部长。

　　1941年冬，甘祖昌随三五九旅进驻南泥湾，开展大生产运动。经过艰苦努力，部队[BuDui]做到了“自己动手，丰衣足食”。

　　1944年，王震奉命率三五九旅南下至广东与东江纵队会师。部队[BuDui]要经过山西、河南、湖北、湖南、江西等省的日军占领区，任务十分艰巨。此时，甘祖昌身体不好，经常咳血，但他坚持申请参加南下。南下北返途中，在广东八面山百熊镇，部队[BuDui]被日军重重包围，鏖战三昼夜，难以突围，甘祖昌旧病复发，高烧吐血，病情严重，王震动员他化装留下来看病，病好后归队，他坚决不肯，说：“只要还有一口气，就要跟大伙儿一起战斗。”最后终于胜利突围回到延安。

　　全国内战爆发后，甘祖昌参加了保卫陕甘宁边区的战斗。1947年，他调二纵队后勤部工作，参加了解放大西北的战役。1949年调任一兵团后勤部部长，进军新疆。

　　新疆和平解放时，国民党起义将领陶峙岳对王震说:“我们[WoMen]这里国民党票子很多，可惜是一堆废纸，就是粮食不多，吃饭是个大问题。”10万大军的军粮如何解决?靠内地进口，没有运输工具，远水不解近渴。王震同意了甘祖昌提出的派人到全疆摸情况的建议。甘祖昌把后勤人员分成4个组，他带一个组一行8人，包括5个少数民族翻译，骑着马向白雪覆盖的北疆进发，走遍了戈壁牧场。20多天后，各组陆续归来，汇总调查情况。甘祖昌向王震汇报说:“有办法了，新疆连续3年丰收，群众[QunZhong]把粮食埋在地窖中，不给反动派吃。原因是国民党政府不收他们的羊毛，牧民们没钱买盐和茶叶。我们[WoMen]可以和苏联大使馆商洽，用牧区的羊毛换日用品，解决牧民的生活困难，粮食问题就迎刃而解了。”王震同意了甘祖昌的意见。经过商谈，苏联方面同意先提供一批茶叶、盐、布等日用品，用羊毛偿还。甘祖昌把后勤人员分成很多小组，用银元、人民币和日用品收购牧民的羊毛。牧民们欣喜地发现，他们用同等羊毛换得的实物，比国民党统治时多一两倍，于是便纷纷拿出粮食来换日用品。这样，不但顺利解决了10万指战员的口粮问题，而且密切了人民军队和新疆各族人民之间的关系。

　　新疆政治情况复杂，一批国民党特务潜伏下来，囤积布匹等日用品，妄图哄抬物价，搞垮人民政权。甘祖昌采取了针锋相对的措施，号召全军指战员增产节约，把每月津贴费抽出来办军人合作社。合作社的布匹和日用品价格比私商低得多，这样就迫使对方大幅度降价。他又准备从上海调进10万匹棉布，追使私商们卖掉囤积的布匹，从而把物价稳定了下来。

　　正当甘祖昌为建设新疆日夜奋战的时候，敌人的魔掌却暗中向他伸了过来。1952年春，他到郊区检查工作，途经一座30余米长的木桥，由于桥板被歹徒锯断，甘祖昌乘坐的车子翻到河里，甘祖昌身负重伤，上唇裂成三片，下额脱臼，鲜血直流。兵团卫生部部长潘世征给他做了手术。经过一个多月的精心治疗，他外伤痊愈，却留下了严重的脑震荡后遗症。

　　1953年以后，甘祖昌的脑震荡后遗症越来越严重，经常昏倒，1954年到庐山疗养治病，仍不见好转。他每日发愁，觉得自己做的工作太少了。1954年军阶鉴定，同志们一致通过他为正师级，报到总政治部，被批准为准军级，1955年授予少将军衔。在授衔仪式上，他穿着将军服，神采奕奕，但回家后却对妻子说:“比起那些为革命牺牲的老战友，我的贡献太少了，组织上给我的荣誉和地位太高了!”此后，他不止一次向组织上写报告:“我自1952年跌伤后，患了严重的脑震荡后遗症，不能再做领导工作了。但是我的手脚还是好的，请求组织上批准我回江西农村去，我愿为建设社会主义新农村做贡献。”当时，他的请求没被批准，1957年他又接着写。这一年，总政治部副主任萧华到新疆检查工作，他当面向萧华提出申请。最终，组织上批准了他的请求。