杨尚昆后来回忆说：“毛泽东[MaoZeDong]找我谈话的那一天，正是上海《文汇报》发表姚文元的文章《评新编历史剧海瑞罢官》的日子，文章实际上传达了毛泽东[MaoZeDong]准备发动一场‘文化大革命’的信号。也正是这一天，中央[ZhongYang]免去了我的中央[ZhongYang]办公厅主任[ZhuRen]的职务。”“如此巧合!”

　　身处逆境意志弥坚 杨尚昆开始被“监护审查”

　　1966年7月3日，杨尚昆开始被“监护审查”。起初，生活待遇尚可，配有服务员和厨师，只是失去了自由。12月25日，中央[ZhongYang]专案组派专机把他押回北京，从此，他开始被无休止地批斗，受尽摧残、折磨。就是在这样的逆境中，杨尚昆还是坚信党，充满着乐观主义精神。他认真研读马列和毛泽东[MaoZeDong]著作，时刻关心国家大事1967年杨尚昆在日记中记录了他最困难的日子，也记下了一个坚定的马克思主义者的风范。

　　“1月15日。茶叶、收音机都收走了。没有收音机听，起床后只好散步，因天不亮看不见东西。下午读《人民日报》，周公宴会上欢迎卡博的致词和卡博的讲话。”

　　“1月26日。右手指麻木，写东西不便。腰痛极了，坐卧不安。上、下午读毛选。”

　　“2月4日。主席[ZhuXi]接见卡博、巴卢库，身体甚健康。下午读毛选。”

　　“2月9日。旧历丁未年元旦。昨晚下了中雪，兆丰年!60周岁了!上、下午读报、毛选，第一卷已完。”

　　“5月25日。以清茶一杯纪念联合生日（杨尚昆历来在每年的5月25日和他的次子杨绍明同时过生日，称“联合生日”――作者注）。小二你在做什么勇敢地奋斗吧!努力做一个主席[ZhuXi]的好学生!”

　　“5月30日。上午外出与专案小组谈话。头疼不安，坐着读书不方便，只好躺下读毛选。”

　　“6月19日。今天是主席[ZhuXi]《关于正确处理人民内部矛盾的问题》发表10周年，听了全文广播，《人民日报》全文发表。蚊子咬人，午夜2时才睡去。”

　　“7月8日。读《论持久战》，以纪念‘七七’。未洗澡已两星期，据说澡堂坏了，擦身换衣服。”

　　就这样，杨尚昆经受了长达9年的“监护审查”，直到1975年2月9日被“解除监护”。

　　1978年11月23日，中央[ZhongYang]专案审查小组向杨尚昆宣布了审查结论：“杨尚昆同志[TongZhi]在中央[ZhongYang]办公厅工作[GongZuo]成绩是主要的，曾受林彪、‘四人帮’的诬陷迫害。现已审查清楚，应恢复其党的组织生活，补发在审查期间停发的工资。”但是，这个审查结论留了尾巴。两天以后，11月25日，华国锋在中央[ZhongYang]工作[GongZuo]会议上讲话时说：“杨尚昆同志[TongZhi]不顾毛主席[ZhuXi]的指示和批评，在私录毛主席[ZhuXi]谈话的问题上犯有错误。经过审查，过去把他定为阴谋反党、里通外国是不对的，应予平反。中央[ZhongYang]决定，恢复杨尚昆同志[TongZhi]的党组织生活，分配工作[GongZuo]。”中共十一届三中全会以后，对所谓“秘密录音”问题再次进行审查，直到1980年10月中央[ZhongYang]才正式发文为原中央[ZhongYang]办公厅和杨尚昆彻底平反。

　　“文化大革命”中，中央[ZhongYang]办公厅的许多干部也因杨尚昆的问题而受到株连。1966年5月《五一六通知》发出以后，中办的一大批干部一夜之间变成了“反党罪人”，中办的工作[GongZuo]秩序被打乱。随着运动的不断升级，被诬为杨尚昆的“帮凶”、“爪牙”的人数越来越多，后来又有了一个新名字――“杨家死党”。这些人整天挨批挨斗。田家英更是在被宣布为“反党分子”的第二天含冤辞世。对于这些情况，可以从1966年7月22日中办给中央[ZhongYang]的报告中窥见一斑。报告指出：“中央[ZhongYang]办公厅为杨尚昆把持了20年，他一直干着反对主席[ZhuXi]、反对中央[ZhongYang]的罪恶活动。已揭露的大量事实证明，不仅原办公厅的领导核心烂掉了（杨和曾、田、龚三个副主任[ZhuRen]），而且下面几个主要单位的绝大部分领导骨干也烂掉了（如机要室、秘书室、办公厅直属各组、档案局、档案馆、特会室等）。多年来，杨尚昆包庇坏人，招降纳叛，培植了一批反党帮凶和爪牙。到目前为止，办公厅及所属各单位已揪出反党分子曾三、田家英、龚子荣、叶子龙、康一民、吴振英、何均、赖祖烈、裴桐、李欣、逄先知等24人。”

　　多年后，杨尚昆很少向人提及他被免去中办主任[ZhuRen]后的这段不愉快的经历。但对于那些因他而受牵连的同志[TongZhi]，他并没忘记，他说：“‘文化大革命’我是首当其冲，第一个被整就是了。十年中，很多同志[TongZhi]受到我的株连，受尽摧残、折磨，十一届三中全会以后才得到平反，我要向他们表示歉意。幸喜，这些同志[TongZhi]今天大多健在。”