1965年9月，被卸去一身职务的彭德怀正在北京西郊挂甲屯吴家花园种地，却突然听到秘书喊他去接电话，电话是中央打来的。
已经赋闲六年之久的彭德怀立刻放下手中的锄头，回屋接过电话，电话是彭真打过来的，只对彭德怀说了一句话：“有要事相商，速来人民大会堂。”
彭德怀没有多问，简单换上一身装束，便直奔人民大会堂而去，到人民大会堂后，彭真告诉彭德怀：“中央希望你能到西南抓‘大三线’建设。”
原来，1965年春，越南战争升级，在当时复杂的国际国内形势下，毛主席认为彭德怀、黄克诚等人不宜留在北京，提议想要把他们挂职下放，分配到外地去。
这个通知过于突然，彭德怀一时不知如何是好，只是反问一句：“要是不去呢？”
彭真直接回答说：“这是毛主席的意见。”
彭德怀陈默片刻后，冷静地回答说：“我是共产党员，服从分配。但我犯了错误，说话没有人听，说错了人家怀疑，说对了人家也怀疑。”
然后扔下一句“我要见毛主席，不见主席，我哪里也不去。”就回去了。
9月23日7点半，毛主席的秘书打电话给膨化，让彭德怀8点半去谈话。
彭德怀了解毛主席的习惯，担心影响主席休息，就说道：“主席习惯晚上工作，上午要休息，我晚上去吧。”
秘书告诉彭德怀：“叫你上午来，你就上午来吧！”
彭德怀于是乘车前往中南海颐年堂，毛主席早已在门口等候多时。
看到这样的情景，彭德怀立刻快走两步，紧紧握住毛主席的手，向毛主席问好。
毛主席看到两鬓斑白的彭德怀说道：“几年不见，你显老了。”
彭德怀勉强地笑了笑说：“我是无事不登三宝殿。”
毛主席笑了：“早在等你，还没有睡。昨天下午接到你的信，也高兴得睡不着，你这个人有个犟脾气，几年也不写信，要写就写八万字。今天还有少奇、小平、彭真同志，等一会就来参加。周总理因去接西哈努克，故不能来，我们一起谈吧。”
不待彭德怀回答，毛主席又继续说道：“现在要建设大三线，准备战争。按比例西南投资最多，战略后方也特别重要。你去西南区是适当的。将来还可带点兵去打仗，以便恢复名誉。”
听到恢复名誉，彭德怀有些激动，但是还是努力使自己平静下来，那就是庐山会议上对彭德怀的批判不解决，那彭德怀就无法出来工作。
毛主席则说：“也许真理在你那边，你的问题让历史作结论吧，庐山会议是历史插曲，已经过去了，要振作精神向前看。”
随后，刘少奇、邓小平、彭真先后来了，大家先闲谈，然后转入正题，那就是安排彭德怀去三线建设的问题，彭德怀仍然坚持：“我去搞工业是外行，时间紧迫，恐有所负，我还是想去边疆搞农业。”
毛主席没有答话，刘少奇、邓小平、彭真一起劝彭德怀。
中午的时候，毛主席留大家吃饭，席间气氛融洽，大家还喝了一点酒，饭后毛主席有些疲倦，彭德怀依依不舍，起身向毛主席和刘、邓、彭告别。
毛主席面色微醺，在送彭德怀出门时，忽然问：“你在中南海游泳池畔对我说过要斗刘少奇同志，恐怕你是参加了‘高饶反党联盟’了吧？”
这一句话，让彭德怀如芒在背，不寒而栗，他一时语塞，还没有想到怎么解释，毛主席已经转身离开。
彭德怀回到吴家花园，两天两夜没有睡着，反反复复回忆自己什么时候跟毛主席说过要斗刘少奇同志呢？
彭德怀最后认定，可能是毛主席搞错了，可是退一步讲，即使彭德怀跟毛主席说过这样的话，那也不能就说是参加了“高饶反党联盟”吧。
这是彭德怀生前与毛主席的最后一次见面，1965年11月底，彭德怀穿着黑色军呢大衣，由北京乘火车前往四川。
然而一场更大的风暴正在袭来，在彭德怀出发去四川前，姚文元的《海瑞罢官》发表，毛主席后来说，《海瑞罢官》的“要害问题是‘罢官’。嘉靖皇帝罢了海瑞的官，1959年我们罢了彭德怀的官。彭德怀也是海瑞”。
1966年12月24日，彭德怀正在进行三线建设时，却被北京来的红卫兵劫持走了。
