Schimmel in der Wohnung, Vermieter gibt uns die Schuld

Guten Tag,habe eine sehr sehr dringende Frage. Es geht um folgendes:

Wir haben unsere Mietwohnung gekündigt und wollte schon mal unseren Schrank abbauen, dabei haben wir dann entdeckt, dass die Wand dahinter (in der Ecke) ein ca. 1x1 Meter grosser Schimmel Fleck ist. Der Schrank stand auch ein paar Zentimeter von der Wand selbst entfernt. Unseren Vermieter haben wir in der ganzen Zeit in der wir hier wohnen noch nie telefonisch erreischt,daher haben wir Ihm ein Schreiben geschickt, mit der bitte dies zu beheben, bzw. uns früher aus dem Mietvertrag zu lassen,da meine Freundin Asthma hat. 2Tage später klingelte der Vermieter dann an unserer Tür,kam unfreundlich herrein,schoss 2 Fotos von dem Schimmel und verschwand ohne uns über das weitere Vorgehen auf zu klären. Heute haben wir dann ein Schreiben bekommen, dass der Schimmel unsere Schuld sei. Der Schrank stand angeblich direkt an der Wand(aber das stand er nicht, und als er die Fotos gemacht hat,war der Schrank schon längst nicht mehr da)und das er Zeugen hätte,das wir Wäsche in dem Zimmer trocknen würden(was wir aber noch nie gemacht haben). nun haben wir von unseren nachbarn erfahren,dass unsere vormieter hier ausgezogen sind,weil alle Räume am Schimmeln waren und man den Schimmel an den Wänden sogar schon von Draussen (wir wohnen im 1.stock)sehen konnte. Der Vermieter will den Schimmel jetzt auf unsere Kosten entfernen lassen. DAzu muss ich sagen,das es ein freistehendes Haus ist´,das der Vermieter selbst gebaut hat(er hat ein Bauunternehmen)und das die Wohnung unter uns auch voller Schimmel ist (das würden unsere Nachbarn aber wahrscheinlich nicht bezeugen,da sie dann Angst hätten Ihre Wohnung zu verlieren).

Kann mir jemand weiter helfen,weiss nicht wie ich dagegen vorgehen soll, ein Anwalt ist zu teuer(ich verdiene zu viel für eine Beihilfe zur Rechtsberatung).

DAnke schn einmal für Eure Anworten