鉴于1975年和1978年的两部《中华人民共和国宪法》受历史条件限制，是在“无产阶级专政下继续革命的理论”和肯定“文化大革命”的指导思想下修订的，既背离1954年制订的第一部《中华人民共和国宪法》的社会主义民主的基本原则，又脱离十一届三中全会以后经过拨乱反正、实行改革开放后的中国的实际，1980年9月10日，五届全国人大三次会议接受中共中央的建议，通过了关于修改宪法和成立宪法修改委员会的决议。宪法修改委员会由叶剑英委员长任主任委员，宋庆龄、彭真副委员长任副主任委员。在9月15日宪法修改委员会首次会议上，决定成立宪法修改委员会秘书处，作为修改宪法的工作机构，具体负责这次宪法修改工作。宪法修改委员会秘书长由胡乔木担任。新中国建立之初起临时宪法作用的《共同纲领》，1954年第一届全国人大第一次会议通过的《中华人民共和国宪法》，胡乔木都是主要起草人之一。这时，胡乔木又担任全国人大法制委员会副主任委员（彭真为主任委员），让胡乔木具体负责这项重要工作，是很合适的人选。

　　1982年宪法的修改，经过了两年多时间。这部修改后的新宪法，于1982年12月４日五届全国人大五次会议通过。胡乔木作为宪法修改委员会秘书长，对1982年宪法的修改作出了重大贡献。主要有以下六个方面：

　　一、在宪法的总体结构上，坚持把“公民的基本权利和义务”放到前面，加强人民民主

　　杨尚昆在回忆胡乔木的文章中特别提到这件事，说：“现在大家都知道，十一届三中全会的公报，叶剑英同志国庆三十周年的讲话，关于建国以来党的若干历史问题的决议，十二大党章，十二大的政治报告，1982年的宪法，这些带有里程碑意义的文献，都是胡乔木同志在中央领导下起草和修改完成的。他善于领会和贯彻小平同志和陈云等同志的指示，也善于吸收和概括大家的意见。他研究问题非常深入细致，修改宪法时，为了加强人民民主，尊重人民权利，把人民权利和义务从第三章提到第二章。在他指导下，对世界上一百一十一个国家现行宪法关于公民权利和义务的结构安排作了调查统计。”[]《我所知道的胡乔木》，当代中国出版社，1997年，第6-7页。]

　　在起草过程中，关于宪法的结构，发生了一些分歧。1982年2月16日上午，中央书记处讨论修改宪法问题。会上，有人主张：在第一章“总纲”之后，接着写第二章“国家机构”，然后写第三章“公民的基本权利和义务”。胡乔木提出不同意见，认为：“公民的基本权利和义务”应该放在“国家机构”之前，紧接在“总纲”的后面；理由是：“权利与义务”是“总纲”的补充和继续，“国家机构”是程序问题，是为“总纲”和“权利和义务”规定的实质问题服务的。世界上大多数国家的宪法也都是把公民的权利和义务放在前面的。经讨论，意见没有统一。

　　当天下午，胡乔木让秘书告诉中国社会科学院法学研究所所长王叔文：请尽快把世界各国宪法结构中的权利和义务一章查一下，看看哪些国家把它放在前面，哪些国家放在后面，简单列个表。明晨９时前送到。王叔文等查了111个国家的宪法，其中101个国家放在前面，只有10个国家放在后面。胡乔木随即把这份材料送中央常委和书记处各同志阅。据《胡乔木传》编写组档案中保存材料的原件。2月17日下午，邓小平找彭真、胡乔木、邓力群谈关于宪法修改问题。他说：从1954年到现在，原来的宪法已有近30年了，新的宪法要给人面貌一新的感觉。我同意胡乔木的意见，把“权利和义务”放在“国家机构”的前面。 [《邓小平年谱（1975-1997）》（下），中央文献出版社，2004年，第799页。]

　　此外，胡乔木在1982年2月27日在宪法修改委员会第二次全体会议上做《对宪法修改草案（讨论稿）的说明》时，还讲明了关于权利与义务不可分离的理论依据：“关于权利和义务不可分离，是马克思在第一国际的章程里面提出来的观点，就是没有无权利的义务，也没有无义务的权利，权利和义务是不可分的。在整个这章里面，都是贯穿了这个思想。”[《胡乔木文集》第2卷，人民出版社，1993年，第504页。]马克思在《国际工人协会共同章程》中的原文是：“协会认为：没有无义务的权利，也没有无权利的义务。”[《马克思恩格斯选集》第2卷，人民出版社，1995年，第610页。]