李德生在军委办事组，显然不是林彪的人，谁也不和他交流情况。轻一点把他当外人，什么话都不和他说，重一点把他当敌人，想方设法要排挤、整治他。有时军委开会，整场会议像没这个人似的；表决什么问题，事先不征求意见，事后不交换看法，同意不同意横竖是要通过的。

一个人在这个环境里会是什么感受，可想而知。李德生默默地承受了种种冷漠和轻视。他心里只想着一点，我是主席和总理派来工作的，我的行为对中央负责，对军委负责，至于个人的失落委屈，只不过是暂时的。后来当毛泽东问他情况时，他也不多说自己的情况。

毛泽东知道以后，开始没说什么，1970年4月，毛泽东说：“搞成清一色，不好，要团结大多数。”