Kindergeldrückzahlung - trotz Weiterleitung an meine Tochter und Absprache mit dem Vater?

Vor zwei Monaten hat meine Tochter einen Antrag auf Abzweigung des Kindergeldes beantragt. Dabei hat sich herausgestellt, dass ich die letzten zwei Jahre keinen Anspruch auf Kindergeld hatte, sondern ihr Vater, da er ihr Unterhalt zahlt. Ich habe mich damals, als meine Tochter vor zwei Jahren ausgezogen ist, noch erkundigt, ob sich für mich etwas ändern wird und man sagte mir, dass alles so bleiben wird, wie es ist. Zu diesem Zeitpunkt haben wir nicht darüber nachgedacht, wie sich der Anspruch aufgrund von Unterhaltszahlungen ändern würde. Nun zu meinem Problem: ich habe mich aufgrund des Briefes mit dem Vater meiner Tochter zusammengesetzt (der seit Jahren weiß, dass ich ihr das Kindergeld überweise und es nicht selbst einbehalte) und habe ihm die Sachlage erklärt. Dass er die letzten zwei Jahre Kindergeldberechtigt Gewesen wäre und er in dem schreiben ein Kreuz setzen müsste um zu bestätigen, dass das Geld in seinem Wissen weitergeleitet wurde und ich das Geld in Höhe von 3.600€ nicht zurückzahlen muss. Das wollte er allerdings nicht unterschreiben und nur den Text dadrunter ändern. Nun habe ich allerdings vor zwei Tagen Post bekommen, dass ich umgehend 3.600€ zurückzahlen muss! Ich weiß nicht wie ich das machen soll! Wir haben das Familien intern eigentlich geklärt. Muss ich das Geld wirklich zahlen? Oder kann ein Anruf oder ein Besuch beim Amt durch den Vater noch etwas ändern? Ich wäre wirklich dankbar für Hilfe!