Innerhalb des Schlosswalls stand das 1461 von Siebet Attena erbaute Wittmunder Schloss, das 1764 auf Anordnung Friedrich des Großen abgebrochen wurde. Bis heute ist der mächtige Festungswall mit dreiviertel seiner früheren Länge erhalten. Es sind die ältesten Wallanlagen, die in Ostfriesland existieren. Der Wall umgab als innerer Wall den Schlossplatz. Zwischen dem Wall und dem Schloss war ein Graben um das gesamte Gebäude. Eine Zugbrücke an der Schlossstraße fungierte als Zugang zum Schloss. Außerhalb des Walls war ein breiter und tiefer Festungsgraben, der heute noch als Wasserniederung vorhanden ist. Nördlich des Walls liegt heute ein zersprungenes Kanonenrohr, das früher an der Nordostecke des Walls positioniert war. Das Schloss war ein großes einstöckiges Gebäude mit vier Flügeln und einem runden Turm an der Nordostecke. Das Schloss diente als Festung und Stützpunkt in Kriegszeiten. An jedem Mittwoch wurden Gerichtssitzungen abgehalten. Im Schloss wohnte der Burggraf, der dem Drosten und somit Verwalter im Amt, unterstellt war. Im Jahr 1900 bepflanzte der Schützenverein den Schlosswall mit Ulmen. Vor 1900 war auf dem Wall kein einziger Baum. Auf dem Schlossplatz feierten die Schützen 1902 ihr letztes Schützenfest und zogen dann auf den Schützenplatz an der Auricher Straße. Im selben Jahr entstand das damalige Krankenhaus am Schlosspark, in dem heute ein Teil der Kreisverwaltung sitzt, und die Zufahrt Schlossstraße wurde gepflastert.

Kanone
Die zerborstene Kanone, die heute im Schlosspark in der Nähe des Spielplatzes steht, hat einen traurigen Hintergrund. Beim letzten Abfeuern der Kanone zum Friedensfest 1871 fand der 59-jährige Zimmermann Cord Abels aus Uttel auf dem Schlosswall den Tod.

Im Jahr 1540 standen die Jeveraner unter der Führung von Boyung von Oldersum, dem Verlobten von Fräulein Maria von Jever. Bei der Belagerung des Wittmunder Schlosses wurde Boyung von Oldersum von einer Kugel tödlich getroffen. Der Sage nach soll Fräulein Maria von Jever durch einen unterirdischen Gang vom Jeverschen Schloss zum Wittmunder Schloss geeilt sein. Seither, sagt die Legende, dass die Kirchenglocken in Jever und Wittmund, um 21 Uhr läuten – das sogenannte „Marien-Läuten“.

Johann von Marenholz, Hofmeister, Geheimrat und Prinzenerzieher am gräflichen Hofe in Aurich, wurde mit 48 Jahren am 21. Juli 1651 in Wittmund das letzte Opfer einer Hinrichtung in der Wittmunder Geschichte. Ihm wurde ein kurzer Prozess gemacht, bei dem das Todesurteil von vornherein festzustehen schien. Die Geständnisse, vor allem das entscheidende – der außereheliche Beischlaf mit der Ostfriesischen Gräfin Juliane –, wurden durch wiederholte Androhung der Folter erpresst. Johann von Marenholz wurde auf dem Saal der Burg zu Wittmund mit dem Schwert enthauptet. Er soll der Sage nach, als er niederkniete, durch das Fenster die Krone eines Apfelbaumes gesehen haben, der die Lieblingsfrüchte der Fürstin Juliane trug: gelbe Äpfel. Da rief er aus: „So wahr dieser Baum von jetzt an blutrote Früchte tragen wird, so wahr sterbe ich unschuldig.“ Dann fiel sein Haupt. Und als der Herbst kam, trug der Baum rote Äpfel. Der rote Eiserapfel ist bis heute als „Marenholter“ bekannt. Seit 2018 existiert die „Marenholter Apfelwiese“ mit sieben Apfelbäumen der besagten Sorte im Schlosspark.