过于华美难居住建成花费10多年

事实上，1909年修建赤坂迎宾馆的最初目的是作为皇太子的住所，建筑师是当时著名的宫廷建筑家片山东熊。也许由于当时日本崇尚欧美的风潮正盛，或者片山东熊直接就师承了欧洲建筑大家的风范，可以看到当时的东宫御所(今天的迎宾馆)外观模仿了白金汉宫，内部则借鉴了凡尔赛宫的豪华风格。

有意思的是，由于设计建造得过于华美，却让其很难作为住宅使用。以至于当时的皇太子嘉仁亲王，也就是后来的大正天皇几乎没有居住过，于是后来被称为赤坂离宫。

战后，赤坂离宫的庭院和建筑由皇室移交给了国家，前后被国会图书馆、法务厅、法院、东京奥运会组委会等组织分别使用过。上世纪六七十年代，随着日本经济的飞速发展，国际交往也日渐频繁，到访日本的国外贵宾需要有一个更为宽敞的接待场所。

1962年，当时的内阁总理大臣池田勇人提议对迎宾馆进行改造，1967年该计划获得了通过。它从设计到建成共花费了10年时间，而改造施工又持续了5年，经历了池田和后来的佐藤荣作、田中角荣两任政权后终于在1974年完工。