Předchůdcem dnešního hradu Orlíka byl menší hrad vybudovaný ve 13. století na ochranu cesty od Milevska na Mirovice na levém břehu Vltavy, vysoko nad brodem, kde se vybíralo clo z plavby po řece. Od dob panování Karla IV. Byl Orlík v držení převážně české šlechty (Zmrzlíci ze Svojšína, Švamberkové, Eggenbergové, Schwarzenbergové). Roku 1948 hrad a panství znárodněno, 1942 v rámci restitucí navráceno Karlu VII. Schwarzenbergovi. Hrad tvořil nejprve nevelký palác, chráněný z přístupové strany hradbami a trojicí obranných věží. Požár, který Orlík zničil roku 1508, a následné vymanění hradu z manských závazků podnítilo rozsáhlou pozdně gotickou přestavbu. Asi před rokem 1588 vlašský mistr Augustin Orlík renesančně upravil. Zásadní posílení významu Orlíku přinesl počátek 19. století, kdy si jej zvolil kníže Karel Schwarzenberg za sídlo. 

Schwarzenbergy bohatě vybavené zámecké interiéry jsou vynikající ukázkou životního stylu šlechty v 19. století. Výzdobou vyniká tzv. Teskův sál , jehož vyřezávaný kazetový strop a obložení stěn zhotovil v letech 1882 -1884 Jan Teska. V podobném romantickém duchu je vyzdoben a zařízen honosný Rytířský sál. Na zámku je také zastoupen empírový styl napoleonské doby a to především nábytkem, který si přivezl již zmíněný Karel Schwarzenberg z Paříže.

Blízko u zámku se nachází kotviště pro parník, na kterém lze přejet ke hradu Zvíkovu a poté zpět.

Na hradě je přístupný Královský palác, jehož součástí je Hlízová věž. Prohlídku tvoří jedna trasa bez průvodce. V přízemí se ve třech prostorách nachází expozice věnována místním archeologickým nálezům. Následuje prohlídka sklepení a patra. Severovýchodní část paláce tvoří terasy na místě bývalých královských místností. 

Dále si prohlédnete dochované nebo v minulosti rekonstruované sály. V první místnosti se nachází model celého hradu, k vidění jsou transfery renesančních maleb, historický nábytek, oltář přenesený z bývalého kostela sv. Mikuláše v Podhradí. Prohlídka končí hradní kaplí, která byla postavena v druhé polovině 13. století a je vyzdobena nástěnnými malbami z 16. století. Ke kapli přiléhá sakristie. Z nádvoří paláce je také přístupná galerie, ve které probíhají sezónní výstavy

Hlavní expozice v interiérech 1. patra představuje autentický byt posledních majitelů, knížat Schönburg-Hartenstein, v podobě, jakou měl po roce 1910, kdy byla dokončena nejmladší přestavba zámku. Návštěvníci si prohlédnou také expozice podkrovních pokojů. O hlavní turistické sezóně je přístupná takéexpozice ve sklepení, která představuje tři pozoruhodné sklepní prostory z části zapuštěné do skal. Prohlídka je vhodná pro všechny, kteří se chtějí dozvědět více o původní podobě někdejší lhotecké tvrze.

Prohlédnout si můžete také kapli Nejsvětější Trojice. Tato renesanční stavba, stojící na návrší zámeckého parku, zaujme v interiéru především původními dochovanými ilusivnímu malbami a nápaditě řešeným dřevěným stropem symbolizujícím nebeský Jeruzalém. Svatyně je funkčním římskokatolickým kostelem.

Natáčely se zde i filmy, jedním z nejznámějších je film Svatby pana Voka.

Z historie: na severním okraji dominia Pánů z Hradce byla v polovině 13.l století v rámci kolonizace založena ves Lhota. V roce 1465 se objevuje první písemná zpráva o existenci tvrze ve Lhotě, kdy Petr ze Zásmuk získal tvrz ve Lhotě jako dědictví po svém otci Ctiborovi. Kolem roku 1530 Lhotu zakoupila rytířská rodina Kábů z Rybňan. Jan Kába nechal starou tvrz přestavět renesančně podle projektu italského stavitele Honse Vlacha. Roku 1555 se poprvé objevuje název Nová Lhota. Označení Červená Lhota se poprvé objevilo v roce 1602. Název vycházel z nové barevnosti omítek tvrze. Dále zámek vlastnil císařský rytmistr Antonio Briccio a následně Vilém Slavata z Chlumu a Košumberka. Za jeho vlády došlo v letech 1658 – 1678 ke stavebním úpravám, které proměnily někdejší tvrz v barokní zámeček užívaný jako letohrádek. Zámek dále vlastnili např. rod Windischgrätzů, baron Ignác Stillfried a Heinrich Eduard Schönburg - Hartenstein. V roce 1934 vznikla na Červené Lhotě hrobka rodiny Schönburg-Hartenstein. Od roku 1949 je zámek zpřístupněn veřejnosti.