Předpokládaným zakladatelem areálu na ostrově Portz Insel byl kníže a kardinál František z Dietrichsteina (1570–1636). Ten zahájil rozsáhlou přestavbu středověkého Mikulova a současně nechal provést rozsáhlé komponované úpravy příměstské krajiny Mikulova, jejichž součástí byl i ostrovní areál v rybníku Portz. Dle urbáře mikulovského panství z r. 1629 tedy víme, že součástí tohoto areálu byl letohrádek s okrasnou zahradou a dále hospodářské budovy a rozsáhlé sklepení v podobě chodbového systému. Byť urbář most samotný nezmiňuje, dá se předpokládat, že z důvodu zajištění zásobování stavby letohrádku materiálem, musel být na ostrov zajištěn přístup. Patrová stavba letohrádku obdélného tvaru byla budována coby tzv. vila suburbana. V patře se nacházel větší sál a menší místnost zázemí (kabinet), z nichž se dalo vyjít na terasy situované na obou štítových průčelích. Přístup do patra byl po venkovním kamenném dvouramenném schodišti s balustrádou. V přízemí byla potom situována kuchyně a další pomocné prostory. Toto přízemí bylo přímo propojeno s podzemními chodbami, jejichž labyrint ústil až nedaleko objektu hospodářského zázemí s bytem správce areálu. Objekt letohrádku je umístěn na vyvýšené zděné terase o rozměrech cca 80 m x 70 m vybíhající v rozích v bastiony. Toto provedení mělo zřejmě evokovat opevněný letohrádek typologicky vycházející z italských předloh fortifikační architektury, tzv. palazzo in fortezza. Není vyloučeno, že se na jeho návrhu podílel některý z projektantů značně ovlivněný italskou architekturou.
Velký dopad na využití letohrádku a přilehlé obory mělo vysušení původního rybníku Portz v polovině 19. stol. a následné rozdělení ostrova na dvě poloviny nově budovanou železniční tratí v r. 1872. Nicméně až do počátku druhé světové války byl park na ostrově udržován, jak potvrzuje zápis z roku 1937 o návštěvě vévody a vévodkyně z Windsoru na tomto letohrádku. Po 2. sv. válce byla obnovena pouze severní část původního rybníku, který se od té doby nazývá Nový rybník. Bohužel zcela negativní dopad na zbytek ostrovního areálu měla ta skutečnost, že se letohrádek i s okolními pozemky ocitl v bezprostřední blízkosti státní hranice s Rakouskem, tedy v přísně střeženém hraničním pásmu. V průběhu 2. pol. 20. století tak došlo z důvodu jeho nepřístupnosti k úplnému zchátrání všech objektů včetně parku a jejich pohlcení náletovou vegetací.
Nová kapitola v historii areálu se začíná psát až po r. 1989. Dne 3. 8. 1995 byl areál rozhodnutím Ministerstva kultury prohlášen za kulturní nemovitou památku. Vlastní letohrádek získalo do svého majetku město Mikulov, které jej v r. 2002 prodalo soukromému vlastníku. Ten roku 2003 započal s celkovou rekonstrukcí areálu spočívající v první fázi zejména ve vyčištění a v odstranění všech náletových dřevin vyrůstajících v ruině letohrádku včetně celé okolní plochy vyvýšené terasy. Objekt letohrádku dále staticky zajistil, dal mu novou střechu, nové venkovní vstupní dvouramenné schodiště a započal s opravou fasády letohrádku.
V postupné celkové obnově areálu pokračoval od roku 2013 i jeho další nový vlastník. Ten dokončil obnovu vnějšího pláště letohrádku včetně osazení balustrádového zábradlí nástupního schodiště, ale zejména velmi náročnou celkovou obnovu jeho interiérů jak v přízemí, tak v patře, včetně vybudování nového obytného podkroví. Dále provedl statické zajištění opěrných zdí vyvýšené terasy z jejích tří stran včetně rohových bastionů a celkovou obnovu rozsáhlého původního labyrintu podzemních chodeb včetně vybudování propojení s letohrádkem v jeho zasypané části. Dále bylo provedeno vyčištění ruiny objektů hospodářského zázemí včetně odstranění náletové zeleně a v neposlední řadě byly na části vyčištěných ploch původního libosadu v bezprostředním okolí letohrádku vysazeny nové vinice. To souvisí s činností nových vlastníků, kteří provozují vinařství – v letohrádku je možnost degustace jejich vín, která jsou z části skladována v původním podzemí, nebo je tu možnost občerstvení v kiosku bistra zřízeného na části plochy bývalého hospodářského objektu.
Nicméně v plánu vlastníků je provést v nejbližším období mj. dokončení statického zajištění poslední strany bastionu, následně realizovat obnovu okrasné zahrady na ploše vyvýšené terasy a v neposlední řadě rovněž obnovu hospodářského objektu letohrádku.