В 1800-е годы от стен павильона открывался вид на залив Верхнего Царицынского пруда с искусственным островом — отсюда и такое название. Здание сильно пострадало в 1941 году — взрывная волна немецкой авиабомбы повредила отделку павильона, карнизы, барельефы и роспись. Первоначальный облик павильону был возвращен только в XXI веке.
