中央决定保留毛泽东遗体并建立纪念堂后，选址在何地便成了反复研究的问题。当年一些人猜测，可能会学中山陵那样在北京西山建堂，然而最后确定建在天安门广场。

当时由国务院副总理谷牧为主任的中央保护毛主席遗体领导小组办公室，是总揽全局的办事机构。凡属有关毛主席纪念堂的建设和遗体保护的决策性意见，均出自这个最具权威的办公室里。为筹划毛主席纪念堂建设，办公室专门设立了一个“陵墓设计小组”，后改名为“毛主席纪念堂设计组”，由当时担任北京市建委主任的赵鹏飞和一机部副部长孙友余挂帅。

1976年9月13日，毛主席遗体领导小组办公室成立的当天，即电话通知了北京、天津、上海、广东、江苏、陕西、辽宁、黑龙江等8个省市10个单位，要求选派最有声望的建筑师、设计师、美术师和工人代表共40余人前来北京，负责陵墓的选址和设计工作。

选址工作刚开始，便众说纷纭，提出不同的方案。

当时选来的是一批最优秀的建筑专家(国家建委建筑科学院5人，北京市规划局和建筑设计院各6人，清华大学4人，上海4人，天津、辽宁、广东、广西、黑龙江、一机部各3人)，他们汇聚到北京后，立即成立了选址设计小组，并于9月14日投入到了紧张工作之中。

在近两个月的选址工作中，专家们走访了北京的有关地方，察勘了多处名胜古迹所在地，先后对香山、景山、北海、中南海、天安门广场及其北部一带等十几个地点作了重点调查研究，并先后提出了各种方案和设想。

选址设计组的专家们，首先想到的是毛泽东南征北战、辛勤操劳一生，理应在风景秀丽、环境优美的地方建造陵墓，让他老人家能够安眠静息。为此，他们设计出“水上日出”方案：浩浩碧波，霞光绚丽，一轮红日，跃出水面，光焰万丈。为此，专家们来到中南海、北海、昆明湖……走了一水又一水，寻找着合适的水域。