Nicht genehmigte Natursteinmauer

Hallo, wir haben vor 5 Jahren eine Natursteinmauer an der Grundstücksgrenze zum Nachbarn bauen lassen. Ist ein Hanggrundstück. Das heißt, dass das Grundstück des Nachbarn ca. 2 Meter unter unserem ist. Mit dieser Mauer wurde unser Grundstück gerader gemacht, sodass nun die Kinder auf dem Grundstück schön spielen können. Die Steine haben ein Gewicht von je mindestens 1 Tonne. Der Bau der Mauer wurde damals mit dem Nachbarn abgesprochen. Hatte nichts dagegen. Im Gegenteil. Sieht ja schön aus und wurde schön bepflanzt. Eine Baugemehmigung wurde damals leider nicht eingeholt. Leider wurde das irgendwie versäumt. Die ganzen Jahre hatte der Nachbar kein Problem mit der Mauer. Jetzt fallen öfters mal die Bälle der Kinder zu ihm runter (weil er ja niedriger mit dem Grundstück liegt als wir). Auch nervt ihn das Geschrei der KInder und droht nun, den Bau der Mauer zu melden. Meine Frage: Können wir denn im nachhinein noch eine Baugenehmigung einholen? Brauche ich hierzu dann die Unterschrift des Nachbarn? Was kann jetzt schlimmstenfalls passieren? Es ist schier unmöglich, die Mauer zu verkleinern oder wegzumachen, ohne den ganzen Garten zu zerstören.

Danke für die Antworten.