Название, как считают исследователи, происходит от пейзажа вокруг и великолепного вида на Верхний Царицынский пруд: с ним «не расстанешься». К началу 1870-х годов парк пришел в запустение, «Нерастанкино» постепенно ветшало. Только в 1920-е годы его приспособили его под парковую библиотеку-читальню. В 2007 году павильону был возвращен исторический облик, хотя полностью скульптурное убранство так и не восстановили.