Mitglieder der Familie von Brunneck nahmen wichtige militärische und staatliche Stellen ein, zum Beispiel war Wilhelm Magnus von Brunneck Major und Gouverneur von Königsberg, Klaipeda (Memel) und Pilawa, Generalinspektor von allen Ost - Preußischen Regimenten, 1805 wurde er zu Feldmarschall, Magnus Roland Graf von Brunneck war der erste Burggraf in Marienburg, und 1900 wurde er zum Grafenstand erhoben. Er war Mitglied des Konvents vom Joannitenorden. Der letzte Besitzer von Baloszyce, Graf Manfred von Brunneck wurde 1907 zum Landrat in Königsberg, und seit 1916 war er Woiwode von Ostpreußen. Für seine Aktivitäten auf dem Gebiet von Kunst und Kultur wurde ihm der Ehrendoktor verliehen. Drei mal waren die Herren von Brunneck die langjährigen Landräte von Susz. Das Gut Baloszyce blieb bei der Familie von Brunneck bis zu 1945.
Nach dem Zweiten Weltkrieg war hier ein Staatliches Zentrum für Stammzucht, in den Siebzigern letzten Jahrhunderts wurde gründlich saniert und das Schloss wurde zu einem Erholungszentrum umgebaut. 2002 wurde das Schloss samt der Wirtschaftsgebäuden auf der Fläche von 13,5 ha an private Besitzer verkauft, die nach der Modernisierung die Hotelofunktion des Objektes beibehielten.
