Der Grundriss des Schlosses vermittelt noch heute in reiner Form die Bau-Idee, die der staufischen Herrenburg zugrunde lag. Im sumpfigen Tal des Seemenbachs wurde auf einem Eichenpfahlrost eine mächtige Wehrmauer errichtet, die als Dreizehneck die romanische Kernburg umschloss. 

Im Inneren lehnen sich die Gebäude an die Wehrmauern an, die Außenfront wurde mit wehrhaften Buckelquadern gestaltet. Die Errichtung der Wasserburg, deren wesentliche Teile erhalten sind, erfolgte wahrscheinlich unter Hartmann von Büdingen in der zweiten Hälfte des 12. Jahrhunderts. 

Nach Westen schließt sich die vermutlich jüngere Vorburg an. Auch sie hatte Verteidigungsfunktion, diente aber zugleich als Wirtschaftshof. Der Wachtbau an der Südseite trat im 16. Jahrhundert an die Stelle einer älteren Toranlage. Gegenüber liegt der Neue Bau, ein schlichter Zweckbau des 19. Jahrhunderts. Sein besonderes Flair erhält der äußere Hof durch eine prachtvolle Baumgruppe.

„Wilde Männer“ steinerne Wappenhalter, um die sich manche Geschichte rankt, bewachen einen Torbau mit zwei spitzbogigen Öffnungen, über denen die Rollen einer Zugbrücke zu sehen sind. Der Wappenschmuck des Sterngewölbes im Inneren verweist ins ausgehende 15. Jahrhundert. Dahinter verbirgt sich das alte Tor der staufischen Burg, das neben dem Ysenburger Wappen auch einen kleinen Löwenschild zeigt, vermutlich das Amtswappen der Herren von Büdingen. 

Durch die hallenförmige Einfahrt mit alten Feuerlöscheimern an Zapfenbrettern gelangt man in den inneren Schlosshof. Die verschiedensten Epochen und Stile verschmelzen hier zu einer stimmungsvollen Einheit. Das ruhige Plätschern des alten Brunnens oder das ehemalige Taubehaus tragen zu dem einzigartigen Zauber des Hofensembles bei.

An der Nordseite dominiert der romanische Pallas mit seiner klar gegliederten Front. Ein qualitätsvoller Rest der östlich anschließenden Burgkapelle hat sich in Tor und Tympanon mit zwei knieenden Gestalten vor einem Kreuz erhalten, vielleicht eine Erinnerung an zwei Büdinger Herren, die von dem Kreuzzug 1196 nicht mehr zurückkehrten. 

Ein spitzbogiges Maßwerkfenster lässt die gotische Kapelle erahnen; darüber wurde im 16. Jahrhundert die sog. Hohe Schule aufgesetzt. Es folgen gotische Bauten; der Saalbau und der Küchenbau, mit jüngeren, wappengeschmückten Erkern. 

Bemerkenswert ist eine Sandsteintafel mit dem Allianzwappen Ysenburg-Nassau und einem Schalknarren als Wappenhalter, für den Zeitgenossen wohl ein Symbol für Hof und Residenzcharakter. Treppentürme des ausgehenden 15. Und 16. Jahrhunderts, Giebel in Renaissancemanier aus der Zeit 1600 und ein Portal, das 1673 im eigenartigen Stil des „Knorpelbarock“ gestaltet wurde, runden den Reigen der Architektur ab.