Urlaubskaution?

Hallo,

ich war vergangene Woche mit ein paar Kollegen im Urlaub. Letzten Samstag sind wir dann abgereist. Nach der gemeinsamen Wohnungsabnahme und der Schlüsselübergabe mit dem Vermieter, gab es keinerlei Probleme oder kaputte Sachen. Der Vermieter jedoch meinte er behält die Kaution noch ein, falls er noch Probleme entdeckt. Wir haben also das Geld nicht sofort wieder mitgenommen. Ist das Rechtens und müssen wir jetzt im Nachhinein für Schäden aufkommen, die nach Wohnungsabnahme noch nicht da waren? Wie sieht es da mit der Rechtslage aus? Der Mieter hat jetzt angeblich Dinge entdeckt und will uns die Kosten der Rechnungen für die Reperaturen von der Kaution abziehen. Ist das erlaubt?

Danke schonmal für jede Hilfe.