Es ist davon auszugehen, dass das Gelände auf der Portz Insel vom Kardinal und Reichsfürsten Franz Seraph von Dietrichstein (1570–1636) gegründet worden ist. Dieser hat einen umfangreichen Umbau der mittelalterlichen Stadt Mikulov in Angriff genommen. Zugleich wurde auf dessen Geheiß eine groß angelegte Gestaltung der vorstädtischen Landschaft durchgeführt. In die Komposition wurden auch die Insel des Portz-Teichs, ihr gesamtes Gelände mit einbezogen. Wie das Stadtbuch der Herrschaft Mikulov aus dem Jahre 1629 verrät, waren von diesem Gelände ein Sommerschlösschen mit einem Ziergarten, das so genannte Lusthaus, Wirtschaftsgebäude, sowie ein System von weit verzweigten Kellergängen umfasst. Obwohl das Stadtbuch die Brücke nicht erwähnt, ist davon auszugehen, dass die Insel erschlossen werden musste, um den Bau des Sommerschlösschens mit Baumaterial zu versorgen. Das mehrstöckige quaderförmige Bauwerk wurde quasi als Villa Suburbana errichtet. Im ersten Stock hat es einen kleinen Saal sowie einen kleinen Einrichtungsraum (ein Kabinett) gegeben, von denen aus an den beiden Giebelwänden befindliche Terrassen zugänglich waren. In das obere Stockwerk führte eine von Balustraden gesäumte zweiarmige Steintreppe. Im Erdgeschoss waren eine Küche sowie weitere Hilfsräume eingerichtet. Dieses Erdgeschoss war direkt an unterirdische Gänge angeschlossen, deren Labyrinth in das unweit gelegene Wirtschaftsgebäude mit der Wohnung des Schloss- und Geländeverwalters mündete. Das Lustschloss steht auf einer erhöhten gemauerten Terrasse mit den Ausmaßen von ca. 80 m x 70 m, an deren Ecken Basteien hervorspringen. Das Bauwerk war allem Anschein nach deshalb so ausgeführt worden, um den Eindruck eines befestigten Lustschlosses zu wecken, dem vom Typ her die italienische Befestigungsarchitektur, sog. Palazzo in Fortezza als Vorlage diente. Es ist nicht ausgeschlossen, dass einer der an seinem Entwurf beteiligten Bauplaner von der italienischen Architektur beeinflusst war.
Weitere Entwicklung hat dazu geführt, dass das Schloss und das umliegende Gehege nicht entsprechend genutzt werden konnten: Zunächst wurde der ursprüngliche Portz-Teich um die Mitte des 19. Jahrhunderts trockengelegt. Im Jahre 1872 hat eine Bahnstrecke die Insel halbiert. Ungeachtet der eingeschränkten Nutzbarkeit wurde der Inselpark, wie der Chronikeintrag über den Schlossbesuch durch das herzogliche Ehepaar von Windsor im Jahre 1937 bestätigt, bis zum Ausbruch des Zweiten Weltkrieges weitergepflegt. Nach dem 2. Weltkrieg wurde lediglich der nördliche Teil des ursprünglichen Teiches erneuert, der seitdem Nový rybník (Neuer Teich) genannt wird. Folgenschwer war für das übrige Inselgelände leider die unmittelbare Grenznähe zu Österreich. Plötzlich waren das Lustschloss und die umliegenden Grundstücke in einer streng bewachten Grenzzone. Im Laufe der 2. Hälfte des 20. Jahrhunderts sind alle Bauwerke sowie der Park infolge der Abriegelung komplett verfallen und wurden von einer Pionierpflanzenvegetation völlig vereinnahmt.
Ein neues Kapitel der Geschichte dieses Geländes wurde erst im Jahre 1989 aufgeschlagen. Am 3. 8. 1995 wurde das Gelände per Bescheid des Kulturministeriums zum unbeweglichen Kulturdenkmal erklärt. Das Lustschloss an sich wurde ins Eigentum der Stadt Mikulov übertragen und von ihr im Jahre 2002 an einen Privateigentümer verkauft. Dieser hat im Jahre 2003 eine umfassende Renovierung des Geländes in Angriff genommen. In der ersten Phase hat er insbesondere alle Pioniergehölze entfernt, die in der Schlossruine sowie in der umliegenden Fläche der erhöhten Terrasse gewachsen sind, das Schlossgebäude von der Statik her abgesichert, neu überdacht und mit einer neuen zweiarmigen Außentreppe versehen. Es wurde mit Renovierungsarbeiten an der Schlossfassade begonnen.
Die allmähliche umfassende Erneuerung des Geländes wurde ab 2013 auch von seinem neuen Eigentümer fortgesetzt. Dieser hat nicht nur die Erneuerung der Außenmauern des Sommerschlösschens abgeschlossen, dabei die Eingangstreppe mit einem Balustradengeländer versehen, sondern vor allem die sehr anspruchsvolle Renovierung der Innenräume sowohl im Erdgeschoss als auch im Obergeschoss fortgesetzt. Dazu zählt die Einrichtung einer neuen bewohnbaren Mansarde. Weiter hat er die Stützmauern der erhöhten Terrasse an deren drei Seiten einschließlich der in den Ecken befindlichen Basteien statisch abgesichert, das ursprüngliche weitverzweigte Kellerlabyrinth umfassend erneuert und die verschütteten Gangabschnitte mit dem Lustschloss verbunden. Außerdem wurden die Ruinen der Wirtschaftsbauten gereinigt und von den Pionierpflanzen gesäubert. Nicht zuletzt wurde im Schlossaußenbereich der gesäuberte, ursprüngliche Zierobstgarten zum Teil mit Rebstöcken bepflanzt. Es entstanden neue Weingärten. Die Bepflanzung hängt mit dem Weinbau zusammen, den die neuen Schlossherren betreiben. Im Lustschloss können Weine probiert werden, die zum Teil in der ursprünglichen Kellerwelt gelagert werden. Es besteht auch die Möglichkeit zu einer Zwischenmahlzeit im Kiosk eines Bistros, das teilweise auf dem Grundstück des ehemaligen Wirtschaftsgebäudes errichtet ist.
Desungeachtet haben die Eigentümer vor, in der nächsten Zeit unter anderem die statische Sicherung der letzten Basteiseite abzuschließen, daraufhin im Rahmen einer Realisierung den Ziergarten auf der erhöhten Terrassenfläche zu erneuern. Schließlich soll das Wirtschaftsgebäude des Sommerschlösschens wiederhergestellt werden.