Od 1664 roku, przez niemal całe stulecie, Stara Wieś pozostawała w rękach Krasińskich, jako dziedzictwo czterech pokoleń, począwszy od Gabriela, kasztelana płockiego. Ostatnim był jego prawnuk - Stanisław, szambelan królewski, którego córka Barbara w roku 162 wniosła Starą Wieś w posagu swojemu mężowi Michałowi Swidzińskiemu, kasztelanowi radomskiemu. W rękach Swidzińskich dobra Starowiejskie pozostawały do końca XVIII wieku. Potem, na krótko, były własnością Ossolińskich, a następnie -Jana Nepomucena Jezierskiego, wnuka słynnego w czasach Stanisława Augusta kasztelana łukowskiego - Jacka. Jan Niepomucen, syn Karola i Zuzanny z Bielińskich, nie posiadał zalet ani przedsiębiorczości swego słynnego dziada. W powstaniu listopadowym należał do zwolenników kapitulacji wobec Rosji. Za to stanowisko został potem nagrodzony Orderem Św. Stanisława pierwszej klasy, a także mianowany członkiem Rady Stanu Królestwa Polskiego oraz cesarskim koniuszym dworu rosyjskiego i w końcu - w roku 1849 - marszałkiem guberni lubelskiej. Żoną. jego była Karolina z Jelskich, córka Franciszka i Amelii z Sapiehów. Nie bez przyczyny podajemy te wszystkie koligacje rodzinne, gdyż później znajdą one swe odbicie na fasadzie nowego pałacu.
Córka Jana Nepomucena i Karoliny Jezierskich - Maria, wychodząc około 1840 roku (co było także wyrazem prorosyjskiej postawy jej ojca) za księcia Sergiusza Golicyna, potomka słynnego rosyjskiego rodu, który wydał wielu wodzów, dyplomatów i uczonych, wniosła mu w posagu Starą Wieś. I to właśnie tym ostatnim wymienionym właścicielom stary pałac Radziwiłłów zawdzięcza swą dzisiejszą postać.