Die Schlossanlage, die aus Bruch- und Werkstein - gelegentlich auch Ziegelstein - ist, hat einen quadratischen Hof umgeben von einem Wassergraben. Westlich ist die Pförtnerwohnung und im Osten der Kapellenbau. Das gesamte Gebäudeviereck wird durch Kehlsockel, Kaffgesims und Traufkehle umzogen. Schloss Elmarshausen liegt sehr idyllisch und ist auf alle Fälle ein Besuch wert.