Трехэтажные каменные покои построены в 1769 году по заказу епископа Иосифа. Палаты выделяются среди прочих зданий Архиерейского двора необычным для Вологды стилем, вдохновленным традициями западноевропейской архитектуры. Нарядный фасад отражает три разновидности барокко: петербургское, московское и украинское. В середине 1790-х годов к западной стороне корпуса была добавлена лестничная клетка с двойными полуколоннами по бокам входа и оригинальной фигурной крышей-куполом. До наших дней сохранились только лепные украшения потолков в некоторых помещениях и кафельные печи с необычным рисунком.
