于1959年7月“庐山会议”上，耿直无畏的彭德怀老总就“大跃进”问题提出了一些自己的建议和看法，甚至当众怒批毛主席的一些错误决定。当时彭德怀认为自1957年的整风反右运动开始，随着新中国的政治和经济等等一连串的大胜利，党中央的威信亦是提高，但是有些人却开始脑子发热，得意忘形了。
特别是一些无产阶级专政后，极其容易犯官僚主义大错。由此可见，在大胜利后不但容易发热，就连之前的熟悉经验也会抛之脑后。除此之外，彭德怀还在会议上当众直言：“目前我们应该要找经验教训，不能一味埋怨和追责。我认为这件事人人有份，也是人人有责，当然也包括毛主席在内。”对于彭德怀老总这样的怒批和指责，毛主席立即解释说，在大跃进中，其成绩和错误，乃是9个指头和1个指头的关系。可以说是有得也有失。然而总体来看，却是利大于弊、得大于失。最后，毛主席平静地看着全场参会人员，说道：“我认为嘛，一棵树，总难免也会有几片枯叶，但不能因此就把树锯掉吧，一切还要看全局。”其实毛主席这番推心置腹的解释，对于彭德怀在会议上的直言怒批来说，已经是相当委婉、温和。但是彭老总一向是刚烈如虎的性格，所以无论毛主席如何解释、劝说，他始终要坚持自己的看法，甚至还在7月14日写了一封长信给毛主席。而正是彭德怀的这封信，彻底让毛主席恼火了。当时毛主席认为，自己和彭德怀乃是多年亲密无间的战友，有什么问题可以当面说，为何要用写信的方式？这无疑不是对他下战书吗？
于后来的8月16日中共八届八中全会上，彭德怀等人被一同撤职，大会所有与会人员一致通过《关于彭德怀同志为首反党集团的错误的决议》。自此以后，彭德怀犹如一条在狂涛骇浪中负重前行的小船，固执地背负自己的责任和使命，拼命地滑向自己最后的生命里程之路。直到八届八中全会结束，彭德怀仍旧遭到各种批判。此时的彭德怀仍旧心系党和国家、以及人民。他想着既然自己被指责为反党集团投资，那么也要为以后的出路做打算。于是一番思前想后，他决定再次给毛主席写一封信，请求毛主席允许他离开北京到北京公社中劳动、学习，或是回到老家耕地做农民。这封信交上去没多久，彭德怀先是被允许搬出中南海的住处，最后被迁移到北京西郊的挂甲屯暂住。
除了儿时出生的老家以外，中南海乃是彭德怀住的最久之地。自少年离家、参加革命，他戎马一生、以部队为家。后来好不容易九死一生、熬到新中国成立，他和毛主席等等开国功勋一同搬到中南海办公、居住。原本当时他想着此后就在这里终老，却不成想，在晚年时却这样带着一顶“反党集团头子”的黑帽子悲伤离开。
