Mietkaution einbehalten, wenn erheblicher Schaden im Garten des Hauses?

Wir haben ein Haus gekauft, dass aber zur Zeit noch vermietet ist. Wir haben entsprechend auf Eigenbedarf gekündigt und der Mieter wird wohl Ende des Monats ausziehen. Er weiß seit einem halben Jahr, dass wir das Haus gekauft haben und das wir auch selbst einziehen wollen. War für ihn auch kein Problem. Nur hat er seitdem nicht mehr wirklich was am Haus gemacht. Innen können wir noch nicht sagen, da die Übergabe noch nicht erfolgt ist, aber der Garten ist eine Katastrophe! Seit Herbst kein Rasen gemähnt. Gras geht bis zu den Knien, Hecke wurde zwar geschnitten, aber der komplette Gartenabfall liegt im Garten. Bäume wurden nicht geschnitten und ragen teilweisen bis zum Nachbarn rüber und es ist recht vermüllt. Im Mietvertrag steht die Klausel, dass er den Garten "Ziergartenmäßig" pflegen muss. Dieser Pflicht ist er nicht nachgekommen. Kann ich die Kaution nun einbehalten, hole mir einen Kostenvoranschlag was mich die Widerherstellung kosten wird, und ziehe ihm das ab? Wie können wir da vorgehen?

Danke für einen kurzen Rat!

VG