На момент смерти Александра Михала в 1793 строительство резиденции не было завершено. Дворец наследует сын Александра Франтишек, который переносит свою резиденцию в Деречин.
С новым хозяином связан приход и нового архитектора – Михаила Кадо, который занимается проектными работами во дворце. Чертежи Кадо по театральному корпусу такие же, как и проект предыдущего архитектора Я.С. Беккера. Единственная деталь – отсутствие колоннады перед главным входом в театр. Очевидно, она не была возведена, так как во время раскопок 1974 следов фундамента колоннады не было обнаружено.
Скорее всего предполагаемая перестройка дворца так и не была осуществлена, т.к уже в 1796 году архитектор покидает ружанское владение.
После смерти Франтишка в 1829 году его наследником становится сын Евстафий, который в том же году продает дворец Ари Лейбе Пинесу. После поражения восстания 1830-1831 гг. Евстафий Сапега выезжает за границу, а его владения конфискуются казной. Возможно, на момент конфискации дворец евреями был куплен не полностью, потому что на картах середины XIX века над театральным корпусам стоит надпись «провиантский магазин». Так или иначе, но уже к концу XIX века все строения архитектурного ансамбля становятся собственностью семьи Пинесов. Новые владельцы основывают в нем суконную фабрику. Вполне понятно, что дворец после перехода в новое владение, рассматривался только с точки зрения использования его для производства и жилья. В театральном корпусе был оборудован цех под покраску тканей с последующей сушкой во дворе.
Производство ширилось: уже в конце XIX века на фабрике во дворце работало около 200 рабочих. Старая структура дворцового ансамбля разрушалась – выламывались перегородки, менялись проемы, вводились дополнительные этажи. Территория двора и парка перекраивалась под нужны фабрики. Промышленники за время присутствия в стенах дворца никогда не предпринимали попыток его восстановления как памятника архитектуры.
В 1939 году на территорию Западной Беларуси приходит советская власть, и в Ружанах начинается политика национализации промышленности. Судьба бывших владельцев ружанских фабрик Пинесов разделилась: часть из них была сослана в Сибирь, а часть смогла выехать за границу.
Восточный (театральный) корпус медленно разрушался в результате производственного его использования. Окончательно здание было разрушено в 1944 году в результате пожара.
Несмотря на значительные разрушения, ансамбль не утратил своей цельности и грандиозности. С 1988 года дворец является памятником республиканского значения, а в 2007 году был внесен в список историко-культурных ценностей РБ. С 2008 года во дворце ведутся реставрационные работы, которым будет посвящена следующая статья.
