Особняк построен в середине XVIII века на месте каменных палат ― они были возведены веком ранее и вошли в проект нового здания. Классический фасад дома не отличается обилием декора. Гораздо примечательнее история его жильцов. В разное время усадьбой владели представители известных дворянских семей ― Одоевских, Лихачевых и Ржевских. В 1839 году особняк приобрел герой Отечественной войны 1812 года генерал Михаил Орлов. Связь с декабристами обернулась для него отставкой, следствием и жизнью в Москве под постоянным надзором полиции ― вместо ссылки в Сибирь. После смерти генерала новые владельцы стали сдавать часть комнат в аренду ― в одной из них жил и работал художник Исаак Левитан. В начале XX века особняк приобрел Мориц Филипп, известный галантерейщик и коллекционер. В 1915 году Филипп нанял учителя для сына ― молодого Бориса Пастернака, который прожил в доме на Пречистенке несколько месяцев.