Во второй половине XIX века участок земли в Гаспре приобрел великий князь Михаил Николаевич — младший сын императора Николая I. Из-за проблем с доступом к питьевой воде долгое время земли простаивали. Возведением особняка занялся один из сыновей князя — Георгий Михайлович. Выкупив у крымских татар родник, в 1904 году он заказывает проект дворца у знаменитого крымского архитектора Николая Краснова. Особняк возведен в стиле позднего модерна и назван в честь римской крепости Харакс, находившейся на этом месте в I‒III веках.