Zámek ve Skalce u Vlastislavi představuje nedílnou součást dramatické krajinné scenérie v centrální části Milešovského středohoří. Jeho hlavní dominantou je jediný pozůstatek zdejšího středověkého hradu, světlá válcová věž, která se vypíná na skalantém sopouchu nad vsí Vlatislav, dokola obstoupena přilehlými sopečnými kužely Českého středohoří.
Nejstarším sídlem ve Vlastislavi je ranně středověké hradiště z 9. - 10. století situované na klesající ostrožně severně nad obcí, které je spojováno s historickými pověstmi o knížeti Vlastislavovi a Lucké válce. K výstavbě kamenného středověkého hradu však bylo zvoleno jiné místo. Byla jím černá čedičová skála vystupující z návrší východně nad Vlastislaví, jež dala hradu bezesporu i své jméno. To je písemnými prameny zaznamenáno poprvé roku 1357 a to v predikátu místního šlechtice Jana ze Skalky. Dle současných názorů byl tento Jan zakladatelem skalsko – řehlovické větve ve zdejším kraji velmi rozšířeného rodu Kaplířů ze Sulevic. Před rokem 1578 získal hrad sňatkem Adam Hrzán z Harasova, jehož potomkové drželi Skalku i přes mnohé dramatické zvraty za třicetileté války až do roku 1730.
Ze stavebního hlediska náleží Skalka k hradům bergfritového typu, jejichž hlavní obrannou stavbou byla neobytná válcová věž, tzv. bergfrit. Ta se nacházela obvykle v čele hradního jádra nad příkopem, odělujícím tuto část hradu od předhradí. Věž se nachází na nejvyšším skalním výstupu, je vystavěna ze světlé opuky a je i výjimečně dobře zachovaná. Její výška činí 15,5 m, v půdorysu je založena na nepravidelném oválu a její korunu zdobí dochované stínky cimbuří. Vstupní portál je umístěn, jak bylo z obranných důvodů zvykem, ve značné výšce nad zemí a proto je dnes interiér věže nepřístupný. Na konci 19. století byly uvnitř věže zdokumentovány dva stručné, česky psané nápisy s letopočty 1605 a 1615. Zanechali je tu po sobě dopadení kriminálníci, kteří si na dně věže odpykávali svůj trest.
Kromě bergfritové věže se již žádné další hradní stavby do dnešní doby nedochovaly. Na základě analogií předpokládáme, že se v její blízkosti nacházel rozměrem skromný hradní palác, v prostoru předhradí před věží se pak rozkládaly hospodařské a provozní budovy. Takovýto malý hrad mohl v 16. století jen sotva naplnit potřeby svých majitelů, lze proto soudit, i když o tom žádné doklady nehovoří, že byl přestavěn a nahrazen renesančním zámkem.
Zásadní moment pro další osudy zdejšího panského sídla přišel roku 1639, kdy byl jeho areál za třicetileté války těžce poničen švédskými vojsky. Jeho trosky byly strženy a na úpatí hradní skály nechali po polovině 17. století vystavět Hrzánové z Harasova na půdorysu písmene F nový dvoupatrový barokní zámek, který zde stojí dodnes. Podle některých názorů se měl na jeho podobě dokonce podílet vyhlášený architekt Antonio della Porta. V roce 1719 se zdejší rodový majetek Hrzánů rozrostl o další dvě panství spadající k sídlům v Dlažkovicích a Podsedicích. Od roku 1730 byla Skalka v majetku pánů z Hatzfelda, po nich pak následovali páni ze Schönbornu. V polovině 19. století sídlila na zámku pouze správa panství, druhé patro a západní část budovy byly prázdné. Součástí zámeckého hospodářského dvora byl i pivovar, lihovar, ovčín, myslivna a bažantnice, blízké okolí zámku zaujímaly ovocné sady. Po skončení druhé světové války byl zámek adaptován na depozitář Státního oblastního archivu v Litoměřicích.
V letech 2005 a 2013 byl zámek ve Skalce jen krůček od toho, aby se stal celosvětově známým a mimořádně navštěvovaným objektem. V uvedených letech byl totiž při volbě nového papeže velkým kandidátem i vídeňský kardinál Christoph Schönborn, narozený roku 1945 ve zdech zdejšího zámku. V obou případech však dostal přednost jiný z uchazečů.
V současnosti je zámek v majetku obce. Ve druhém patře je zřízena obrazová galerie Českého středohoří, její součástí je také výstava věnovaná hradům Českého středohoří. Od hradní věže se skýtá úžasná vyhlídka do kraje, vidět odsud jsou hrady Košťálov, Házmburk, Oltářík a Ostrý, dále vrchy Plešivec, Solanská hora, Lipská hora, Lhota, Sutomský vrch, Holý vrch, Jezerka a v neposlední řadě také smutné torzo odtěženého vrchu Vršetín. Jinak úžasnou scenérii zámeckého areálu s hradní věží ruší nevzhledný hospodářský areál a skladištní haly v severním předpolí zámecké budovy.