С 1694 года и вплоть до 1917 года усадьба принадлежала роду Голицыных. За это время дворец успели посетить М.И. Кутузов, проезжая через Вяземы после Бородинского сражения в 1812 году. Бывал здесь и А.С. Пушкин, живя у бабушки в соседнем селе Захарово.