Когда во второй половине 1870-х годов последний хозяин Останкина граф А.Д. Шереметев затеял крупный ремонт, встал вопрос - оставлять дворец как исторический памятник или нужно его перестроить под жилые помещения? Было принято решение "о возобновлении" Останкинского дворца как памятника. Дворец никогда никому не сдавали. Его можно было осмотреть с разрешения заведующего домами и дачами.