1927年8月7日，中共中央在汉口原俄租界三教街41号（现为鄱阳街139号）召开了中央紧急会议（因出席的中央委员不到半数，既不是中央全会，也不是中央政治局会议，故称为中央紧急会议），即八七会议。张太雷当选为临时中央政治局委员。新的临时中央政治局决定设立中共中央北方局、南方局和长江局，决定张太雷赴南方局，任广东省委书记。11月26日，张太雷受命回广州组织武装起义，担任起义总指挥。

　　在白色恐怖笼罩下的广州，张太雷将个人安危置之度外，他经常深入基层，传达党的决定。他在沙面白鹅潭一艘邮政船上秘密召开了广州工人代表[DaiBiao]大会的负责人会议，传达和部署起义的各项工作，又在黄花岗七十二烈士墓旁召开国民革命军第四军教导团、警卫团和黄埔军校特务营等单位的骨干分子200余人秘密会议，做起义的动员报告。会后，他还亲自主持教导团各级干部的分组训练，落实教导团的各项起义准备工作，研究起义时的军事部署、起义政纲、宣言、文告以及成立苏维埃政府等问题。12月7日，张太雷秘密主持召开工农兵代表[DaiBiao]会议，通过工农兵代表[DaiBiao]会议执行委员会委员名单。同日，还主持广东省委会议，通过苏维埃政纲、宣言和行动纲领。会上，张太雷被推选为人民海陆军委员，代理广州苏维埃政府主席。12月10日深夜，张太雷在广东省财政厅前党的秘密联络站召开教导团、警卫团骨干会议，部署发动起义。12月11日凌晨2时许，张太雷偕起义军总指挥叶挺、秘书长恽代英等人来到教导团驻地，主持起义誓师会议。3时半，震惊中外的广州起义爆发。

　　天亮前，起义军已占领了珠江北岸大部分市区。清晨6时许，张太雷身穿戎装，系着红领带，在刚攻克的广州市公安局主持了广州苏维埃政府工农兵执行委员会第一次联席会议。会议通过了苏维埃政府名单和《广州苏维埃宣言》。同时，中共广东省机关刊物《红旗》出版号外。广东省委、广州苏维埃政府都印发了告民众书，宣布起义胜利，号召工农兵群众继续斗争，并选举代表[DaiBiao]参加苏维埃政府。苏维埃政府成立伊始，有很多问题亟待解决，张太雷彻夜不眠，忙个不停。当晚，他主持召开紧急会议，讨论时局，决定以教导团为基础，迅速扩军，并将战线推到郊外。