我去联合国的时候是1971年，就是说我去的时候，还是“文革”的后半段，还没完。林彪虽然垮台了，但是“四人帮”还在台上。因此，外交部也好，代表团也好，派系斗争并没有停止，有时还很激烈。“老爷”派的人相互之间有矛盾，“老爷”派跟“小姐”派之间有矛盾。（“老爷”，指乔冠华；“小姐”，指王海容、唐闻生）两边都想拉我参加，去整对方。鄙人不感兴趣，下定决心“不参加”。所以除了开会之外我就关起门来，一个人在房间读书。

我经常到旧书店，一美元能买好几本简装书、旧的小说英文小说等，我买了好多。另外，如果有空，我就去看看博物馆，逛逛公园散散步，晚上回到家里看电视，有一个13台，放的尽是外国名著改编的电影。我就这样消遣，尽量躲开外界的干扰。那次回国之前，有一个派别的小头头和我谈话。他在那颠来倒去的，一会儿这派，一会儿那派。我就说：大家都是自己同志，不应该搞这些玩意，还是“和为贵”吧。我当时没想这是孔夫子讲的话。我听黄华讲过，毛主席好像有一次还在延安讲过要“和为贵”。

在北京“批林批孔”动员会开过之后，部里就开会组织与会者分组讨论。1974年，批判意大利导演安东尼奥尼。江青说意大利电影《中国》是反华的片子，其实并不是反华的，是纪实的。驻意大利大使沈平开会那天，“哗”地一下站起来，连连检讨说：我犯了严重的政治错误，不该推荐《中国》这部片子。开会当中有人捅我，说：你不也讲过“和为贵”吗？实际上等于在逼我检讨，那我就不得不检讨了。但检讨完就算了，我还是继续“不参与”。

当时我见到何英，跟何英说：“有精力要用在对外斗争上，对于人民内部的事，我的方针是：‘人不犯我，我不犯人；人若犯我，我也不犯人。’这个‘人’讲的是自己的同志。”他听了哈哈大笑，说这是周南哲学，还四处给我宣传。