Das Schloss Hoyerswerda wurde auf den Grundmauern einer Wasserburg aus dem 13. Jahrhundert errichtet. Es besteht aus einem hufeisenförmigen Renaissanceteil und dem später angebauten Barockteil. Einem Umbau im 19. Jahrhundert fielen einige Gebäudeteile zum Opfer. Der Renaissanceteil umschließt einen kleinen Innenhof. Das Schlossgebäude ist von einem Wallgraben umgeben. Über eine Brücke gelangt man von der Stadt aus ins Schloss. Eine weitere Brücke an der Rückseite führt in den Zoo, der den früheren Schlosspark einnimmt. Das Schloss war von zwei Schlosshöfen und mehreren Gärten umgeben. Neben den Höfen mit Pferdeställen, Wirtschaftsgebäuden und Remisen gab es einen herrschaftlichen Lustgarten, angelegt durch die Fürstin Teschen. Ein Teich mit einer bewachsenen Insel und seltene Baumbestände zierten den Park. Im Sommer ließ die Teschen 400 Orangenbäume aus Dresden dort aufstellen. Später wurde der Schlosspark in einzelnen Parzellen verpachtet. Ab dem Jahr 1959 entstand auf diesem Gelände schrittweise ein Tiergarten, der heutige Zoo. Seit 2011 sind Zoo und Schloss Hoyerswerda wieder eine Einheit und werden von der Zoo, Kultur und Bildung Hoyerswerda gGmbH betrieben.
Als erster Burgbesitzer wird 1272 Hoyer von Vredeberg erwähnt, der sich an einem Arm der Schwarzen Elster eine Wasserburg erbauen ließ. Leider fehlen Urkunden über den genauen Erbauungszeitraum. Archäologische Funde weisen jedoch auf das 13. Jahrhundert hin. Die Anlage diente jahrhundertelang als Grenzfeste zwischen Böhmen und Brandenburg. Eine erste vollständige Zerstörung des mutmaßlichen Lehm- und Fachwerkbaus geschah im Jahre 1468. Nach monatelanger Belagerung durch Truppen der Oberlausitzer Sechsstädte wurde die Burg schließlich eingenommen und geschleift. Ein 1483 errichteter Nachfolgebau brannte 1589 durch Unvorsichtigkeiten bei Renovierungsarbeiten komplett nieder. Unter Seyfried von Promnitz wurde dann im Jahre 1592 ein dreigeschossiges, hufeisenförmiges Renaissanceschloss neu errichtet. Der steinerne Bau mit gewaltigen Mauern war mit Ziegeln gedeckt. Auf dem Dach gab es verschiedene Frontispize. Ein Giebel aus dieser Zeit ziert noch heute das Schloss.
1272 Hoyer von Vredeberg – Sohn des in der Oberlausitzer Grenzurkunde von 1241 angeführten Hoigerus von Vrideberch (Friedeberg). Der Stammsitz der Familie war in Sachsen-Anhalt an der Saale.
1300 Johann, König von Böhmen
? Familie von Schonenvelt (Schönfeld)
1355 Johann und Günther von Schwartzenberg
1358 Hoyerswerda wird Krondomäne
1371 Timo von Colditz
1382 Benesch von der Duba, der Ältere
1401 Heinrich und Bensch, der Jüngere, von der Duba
1442 Gindersich Bircke von der Duba
1448 Herzog Friedrich zu Sachsen
1461 Friedrich von Schumburgk (Schönburg)
1471 Jaroslav von Sternberg
1481 Georg von Stein, Landvogt der Ober- und Niederlausitz
1492 Wilhelm, Jan-Wentzel und Ernst von Schumburgk
1532 Jan, Joachim, Friedrich und Wilhelm von Schumburgk
1567 Maria von Schumburgk, geb, Gansen von Puttlitz, Witwe des Wilhelm von Schumburgk
1571 Heinrich von Maltitz
1572 Sigmund, Hanns, Christoph und Albertus, Magnus von Maltitz
1581 Seyfried von Promnitz d. Ältere – Hauptmann der Herrschaften Sorau und Triebel in der Niederlausitz. 1581 erwarb er die Herrschaft Hoyerswerda in der Oberlausitz.
1598 Seyfried von Promnitz d. Jüngere
Eine größere Umgestaltung des Schlosses erfolgte 1727. Die Reichsfürstin Ursula Katharina von Teschen – seit 1705 Besitzerin der Herrschaft Hoyerswerda – schuf durch barocke An- und Umbauten einen würdigen Wohn- und Repräsentationssitz. Ein rechts neben dem Renaissanceschloss stehendes Gebäude wurde abgetragen und durch ein dreistöckiges Gebäude in Form eines Triangels ersetzt. Beide Gebäudeteile wurden mit einem Barockportal verbunden. Ein kleiner Fachwerkanbau am alten Gebäudeteil diente als Toilettenturm. Vom Adlerberg her wurde eine Wasserleitung ins Schloss verlegt. Acht Vordergiebel und ein Türmchen zierten das Dach. Zwei steinerne Brücken überquerten den Wallgraben. Links und rechts der Brücke zur Stadt gab es zwei Pavillons. Sie waren auf Holzsäulen gebaut und mit Ziegeln verblendet. Jeder Pavillon enthielt sechs Zimmer, einen Boden und Kellerräume. 1781 ging das Schloss mit allen Nebengebäuden, dem vorderen und hinteren Schlosshof und den Gärten in öffentliches Eigentum über.
1599 Weighardt von Promnitz
1615 Seyfried von Kittlitz
1620 Rudolph von Ponickau
1648 George Rudolph von Ponikau
1649 Hans-Christoph und Karl von Ponickau
1651 Kurfürst Johann Georg I. zu Sachsen
1660 Kurfürst Johann Georg der Andere zu Sachsen
1662 Leopold Wilhelm, Markgraf zu Baden
1669 Kurfürst Johann Georg der Andere zu Sachsen
1669 Kurfürst Johann Georg III. zu Sachsen
1692 Kurfürst Johann Georg IV. von Sachsen
1694 Kurfürst Friedrich August I. (August der Starke)
1700 Graf Wolf Dietrich von Beichlingen
1705 Reichsfürstin Ursula Katharina zu Teschen
1737 Friedrich August II., Kurfürst von Sachsen, König von Polen
1763 Kurfürst Friedrich Christian Leopold von Sachsen
Die Tochter des litauischen Truchsessen von Altenbockum,Ursula Katharina, wurde 1680 geboren. Sie war verheiratet mit dem polnischen Fürsten Lubomirski. Als der Sächsische Kurfürst Friedrich August I. 1697 König von Polen wurde, riet ihm sein Minister Flemming: „Majestät braucht eine Mätresse, die ihm die polnischen Herzen erobert.“ Auf sein Betreiben lernten sich August und die Fürstin Lubomirska um 1698 in Warschau kennen. Um 1700 wurde Ursula Katharina die offizielle Mätresse Augusts des Starken. Die Ehe mit dem Fürsten Lubomirski wurde geschieden. August führte die als eine der schönsten Frauen ihrer Zeit geltende Lubomirska am Dresdener Hof ein. Am 21. August 1704 wurde der gemeinsame Sohn Johann Georg, der spätere Chevalier de Saxe, geboren. Fünf Tage später erhob Kaiser Leopold I. die Lubomirska auf Betreiben Augusts zur Reichsfürstin von Teschen. Zu dieser Zeit war August der Starke nicht mehr König von Polen, daher hatte die Teschen ausgedient. Eine neue Mätresse war aufgetaucht: Anna von Hoym, die spätere Gräfin Cosel. August hatte der Teschen im Jahre 1705 seine Herrschaft Hoyerswerda zunächst als Pfand für 250 000 geliehene Reichstaler, später erb- und eigentümlich überlassen. Dorthin zog sie sich zurück. Am 10. April 1705 kam sie in Hoyerswerda an, wo August sie am 17. April kurz besuchte. Für Hoyerswerda war die Herrschaftszeit der Fürstin Teschen mit einem ersten Aufschwung im beginnenden 18. Jahrhundert verbunden. Sie ließ nicht nur das Schloss zu einem „würdigen Fürstensitz“ umbauen, sondern förderte auch in nie gekanntem Ausmaße Handwerk und Handel in dem kleinen Städtchen. Für einen aufklärerischen Geist sorgte der von ihr berufene Amtsaktuarius und spätere Amtmann Theophilus Lessing. 1737 verkaufte die Teschen die Herrschaft Hoyerswerda an Friedrich August II. Zuvor hatte sie bereits wieder in Breslau, Dresden und später in Neschwitz gelebt. Sie starb 1743 in Dresden und wurde im böhmischen Leitmeritz begraben. In Hoyerswerda ist eine Straße in Schlossnähe nach ihr benannt.
Nachdem das Schloss 1781 in das Eigentum des sächsischen Fiskus überging, zogen öffentliche Ämter ein. Das zweite Obergeschoss des Barockteils wurde vom Königlichen Amtsgericht eingenommen. Im ersten Obergeschoss war die Königliche Oberförsterei. In einem Teil des Renaissanceschlosses saß das Amts-Archiv. Neben Amtsstuben gab es in beiden Gebäudeteilen Wohnräume für den Justizbeamten und den Oberforstmeister. Später kamen noch weitere Institutionen dazu, so das Eichamt, das Salzamt und das Domänen-Rentamt. 1816 wurde im Erdgeschoss des Renaissanceteils das Königliche Amtsgerichts-Gefängnis eingerichtet. Nach dem Zweiten Weltkrieg wurde das Gefängnis geschlossen. Das Gericht und ein Liegenschaftsdienst nutzten weiterhin große Teile des Hauses. In einige freie Räume zog 1952 das Heimatmuseum. Nach der politischen Wende 1989 wurde das inzwischen baufällige Gebäude von Grund auf saniert und beherbergt heute das Stadtmuseum und das Stadtarchiv. Einige historische Räume können für Veranstaltungen aller Art gemietet werden.