Graf Anton III. von Montfort (1670-1733) erbaute an Stelle der zerstörten Burg das Neue Schloss Tettnang seit 1712. 1728, als das Schloss noch nicht fertig gestellt war, musste Graf Anton wegen der immensen Schulden den Schlossbau einstellen und von der Regierung abtreten. Er zog sich nach Argen, 1728 nach Salzburg zurück, wo er 1733 starb. Graf Anton, seit 1693 mit Maria Anna Gräfin von Thun verheiratet, die aus einer sehr einflussreichen und baufreudigen Familie stammte. Er teilte die Prunksucht und den Ehrgeiz seiner Gemahlin und versuchte mit dem ehrgeizigen Schlossbau in Tettnang einen, seinen wahren Verhältnissen völlig unangemessenen, barocken Hof zu erschaffen.
Der Sohn Graf Antons und Gräfin Maria Anna konnte nur noch wenige, bestandserhaltende Baumaßnahmen durchführen. Er ließ, als letzten Bau, 1730/31 die Hofkapelle fertig stellen.
Graf Franz Xaver gelang es, das Werk seines Großvaters nach dem Brand von 1753 fortzusetzen. Er verpflichtete die besten Künstler des Bodenseeraums und ließ die Innenräume kostbar ausstatten. Allerdings führte die Abhängigkeit von Österreich, in die er sich auf Grund der eigenen Mittellosigkeit begab, schließlich 1780 zur Übernahme der Grafschaft durch das Nachbarland. Franz Xaver starb noch im selben Jahr.
Die zweite Gemahlin Franz Xavers ist auf einem typischen Repräsentationsporträt des Rokoko zu sehen. Das Gemälde, ein Pendant zu dem Bildnis ihres Gatten, wurde von Angelika Kaufmann gemalt.