Потешный дворец построен в 1652 году боярином Ильей Даниловичем Милославским, тестем царя Алексея Михайловича; после его смерти перешел в казну.

Потешным называется потому, что в нём устраивались "потехи", увеселения для царской семьи.

На верхнем этаже располагается домовая церковь Похвалы Богородицы, алтарь которой вынесен на кронштейнах вперед.

В XIX-XX веках дворец использовался как жилой дом, в нём жил кремлевский комендант, как раз поэтому рядом стоящая башня кремлевской стены называлась Комендантская.

В первой половине XX века до 1932 года в здании находилась квартира главного руководителя Советского государства И. В. Сталина.