但是白崇禧作为桂系的代表人物，一方面他不好答应，另一方面，他认为这一职位位高权重，责任太大，他也不太敢接受，但是蒋介石再三诚恳聘请，甚至说借用数月，待攻下武汉必定归还，两方才谈妥。

北伐军攻下武汉后，蒋介石的嫡系第1军在浙江作战失利，白崇禧被蒋介石任命为东路军前敌总指挥，率第1、3纵队，与东路军总指挥何应钦的第4、5、6纵队配合，入浙进攻孙传芳、张宗昌部。白崇禧运用声东击西等战术，先后占领杭州、宜兴等地，并逼近上海。

1927年3月19日，白崇禧率部进入上海。3月26日，蒋介石在上海召见白崇禧，告诉他准备“清党”，并想听听他的意见。白崇禧当即表示完全同意。蒋说：

“不仅是同意，你还要拿出个办法来。我现在任命你为淞沪卫戍司令，让你负责上海清党之责。”

白崇禧提议说：

“上海的第一军第一师许多中级干部思想左倾，他们来自广东革命根据地，前两天还和工纠队们在一起联欢，要他们清党，他们不一定赞成。我看，调走第一师，留下第二师和北洋军阀老班底的26军足以对付局面！”

蒋介石听后表示赞同，接下来，两人就“清党”的具体办法又进行了密商。随后在蒋介石决策下、白崇禧的具体组织下，制造了震惊中外的“四·一二”反革命政变，上海的白色恐怖中的白，就是指白崇禧。