杨尚昆后来回忆说：“毛泽东[MaoZeDong]找我谈话的那一天，正是上海《文汇报》发表姚文元的文章《评新编历史剧海瑞罢官》的日子，文章实际上传达了毛泽东[MaoZeDong]准备发动一场‘文化大革命’的信号。也正是这一天，中央[ZhongYang]免去了我的中央[ZhongYang]办公厅主任[ZhuRen]的职务。”“如此巧合!”

　　从广州到太原

　　1965年12月杨尚昆到广东后，没有什么工作[GongZuo]可做。省委只是给他看一些文件，说先休息几天，慢慢熟悉情况，并没有进行分工，安排具体工作[GongZuo]。杨尚昆按原来设想的到广东后各县都要跑一遍的计划，于12月18日即从广州出发，先后到了海口、琼海、兴隆、崖县（三亚）、湛江、电白、阳江、新会、江门、佛山、中山、顺德、宝安（深圳）等地，重点听取各地“四清”运动的情况汇报。1966年1月17日，杨尚昆第一次也是最后一次参加省委会议，听取区梦觉传达中南局会议精神。1月26日，他还参加了王震召开的海南岛发展橡胶问题的会议，在会上发言指出，要帮助少数民族发展经济，适当发展橡胶，并对橡胶管理体制提出一些意见。春节后，杨尚昆身体日渐虚弱，病痛加重，经中央[ZhongYang]批准，于1月31日离开广州到上海，住入华东医院。3月8日，接中办电话，中央[ZhongYang]同意卫生部的建议，杨尚昆休息三个月。4月18日，杨尚昆与广东省委副秘书长马甫通电话，得知省委拟于5月5日召集地、县委书记在从化学习毛泽东[MaoZeDong]著作。他认为，这是一个好机会，不仅可以熟悉人，还可以从基层工作[GongZuo]的同志[TongZhi]那里学到很多东西，当即决定提前回广州。4月20日，杨尚昆离开上海，经南昌，23日到达井冈山，在那里重读了《井冈山的斗争》和《中国的红色政权为什么能够存在》两篇毛泽东[MaoZeDong]著作。27日到达瑞金。5月5日回到广州，住小岛招待所10号楼。随后得陶铸通知：“尚昆同志[TongZhi]不必参加地、县委书记会了。”19日，陶铸在中山纪念堂作“文化大革命”动员报告，也没有通知杨尚昆到会。

　　5月22日，陶铸等人到小岛招待所10号楼向杨尚昆口头传达5月中央[ZhongYang]政治局扩大会议精神和免去杨尚昆的广东省委书记处书记、改任肇庆地委书记的决定。陶铸等离开后，杨尚昆就把我和赵宇田叫去，如实传达了中央[ZhongYang]对他的决定，并说他在中办20年，工作[GongZuo]没有做好，还犯了错误，表示拥护中央[ZhongYang]的决定，接受中央[ZhongYang]的审查，问题总会弄清楚的。杨尚昆还说：“我想得通，做地委书记、县委书记都可以，只是不当一把手。”还说：“现在我要下去工作[GongZuo]，你们就回北京吧。回去以后，中办会找你们揭发我的错误，你们认为我还有哪些错误，如实讲，不要有顾虑。”在以后的一段时间里，杨尚昆反复讲，一切相信组织，相信中央[ZhongYang]。

　　从这时起杨尚昆的对外联系就被切断了。同李伯钊和子女的电话也接不通了。马甫倒是经常来看看杨尚昆，并要我和赵宇田照顾好杨尚昆的生活，叮嘱我们不要同时外出，杨尚昆身边要有人。

　　5月23日，杨尚昆给邓小平和周恩来打电话，要求调回北方工作[GongZuo]，电话打了半天也没打通。无法，只好把电话打给机要室，传去了一段文字：“小平、总理并常委：昨日陶、赵与我谈过，我拥护中央[ZhongYang]的决定。我恳请中央[ZhongYang]考虑，调换一个工作[GongZuo]地区，无论东北、西北、华北的基层都可以。因广东潮湿而酷热，两臂的关节炎日益加剧，右手已抬不起来，治疗也无效，20天来每天中午发烧37.4℃，食欲不振，体重还在下降，恳切要求，万望考虑赐复。”

　　5月24日，中央[ZhongYang]发出《关于陆定一同志[TongZhi]和杨尚昆同志[TongZhi]错误问题的说明》（中发［66］277号文件）。关于杨尚昆的问题，文件说：“杨尚昆同志[TongZhi]的主要错误如下：（一）他不顾中央[ZhongYang]多次关于禁止安装窃听器的决定，背着中央[ZhongYang]，私设窃听器，私录毛主席[ZhuXi]和常委同志[TongZhi]的讲话，盗窃党的机密。（二）他把大量的机密的文件和档案擅自提供给别人抄录，严重地泄露党的核心机密。（三）他同罗瑞卿等人的关系极不正常，积极参加了反党活动。（四）他还有其他的严重错误。”

　　但杨尚昆的要求，还是得到邓小平和周恩来的支持。5月28日，陶铸来到小岛招待所10号楼告诉杨尚昆中央[ZhongYang]已决定让他去山西，任临汾地委书记处书记。5月30日，由马甫护送，杨尚昆乘火车经石家庄于6月2日到达太原，住太原饭店西楼。

　　在太原，杨尚昆感慨地说，人的一生有几个20年顶多四个吧，何况还不一定能活到80岁。第一个20年，糊里糊涂过来了；第二个20年参加革命，变化很大；第三个20年，小心翼翼，不求名利，还是犯了错误；第四个20年，从头开始，尽可能做点工作[GongZuo]吧!杨尚昆在太原闲住了一个月，多次要求早些下去工作[GongZuo]，但都被婉言拒绝。后来实在无法，于6月23日安排了一次汇报来敷衍，由省农办的同志[TongZhi]介绍山西的农业情况。

　　7月3日，杨尚昆上午去晋祠散步，忽传来电话说省委领导要来谈话，下午不要走开。中午l时许，我午睡正酣，突然被车声惊醒，发现此时太原饭店院内已军警林立，如临大敌，杨尚昆不知去向。山西省委副秘书长欧阳景荣跑到我的屋里，还有两个不知什么人，同我和赵宇田谈话，说杨尚昆犯了错误，你们要和他划清界限等等。随即把我们带到一个地方，欧阳景荣走了，那两个人留了下来，和我们形影不离，过了一夜，又一同登上火车，7月5日晨到达北京。第二天，我们就被安排到“学习班”参加运动揭批杨尚昆去了。后来才知道，7月3日那天，杨尚昆被转移到另一个地方，从此开始了长达9年的“监护审查”。