Grundstückshöhen unterschiedlich zum Nachbarn?

Wir wohnen seit über 20 Jahren in unserem Haus. Unser Nachbar  hatte vor uns gebaut und an der Grundstücksgrenze einen Erdwall ca 40-50 cm Höhe aufgeschüttet und mit Koniferen bepflanzt. Wir haben danach gebaut, unser Grundstück liegt wegen ganz leichter Hanglage etwas höher. Nun haben wir das Grundstück begradigt (max. 10 cm aufgefüllt) und liegen maximal auf Wallhöhe des Nachbarn. Dieser möchte nun seine Hecke entfernen und verlangt von uns, das Grundstück abzusenken. Wie ist die Rechtslage? Ich wäre für Hilfe dankbar. Habe auch schon wegen Gewohnheitsrecht nachgedacht, denn unser Grundstück ist schon immer etwas höher als seins.