Vorfahrt genommen und angeschrien worden?

Mir ist vorhin etwas passiert, was mich immer noch sehr aufregt:

Ich war mit meiner Freundin unterwegs. Ich fahre meine 40 in einer 50er Zone, unterhalte mich mit meiner Freundin und weiter vorne schaltet eine Ampel auf rot, da ein Fußgänger über die Straße wollte.

Ich fange an, leicht zu bremsen und auf einmal kommt ein anderer von rechts. Ich tritt voll auf die Bremse und hupe den anderen Fahrer an, da ich ihn darauf hinweisen wollte, dass ich Vorfahrt habe, weil vor seiner Ausfahrt ein Vorfahrtsschild steht.

Der Fahrer schaut mich an und fängt an rum zu schreien. Er sieht, dass ich ihm das Schild zeige und steigt plötzlich aggressiv aus und fängt an, mich anzuschreien:„Du siehst doch, dass die Ampel rot ist. Du MUSST mich vorlassen, da ist es egal, was das Schild sagt!“ Ich schaue ihn an und sage:„Ich habe immer noch Vorfahrt und dich vorlassen muss ich sowieso nicht! Jetzt steig ein und fahr weiter, ich habe es eilig und keine Zeit für sowas.“

Er fängt an, mich zu beleidigen und schreit lauter als sonst was. Ich lege einen Gang ein und fahre links an ihm vorbei, da die Ampel schon längst auf grün war(Das war eine recht große Straße mit einer großen Spur für beide Seiten).
Ich habe nur noch gehört, wie er weiter geschrien hat.

Jetzt meine Frage: Was wäre, wenn ich ihm oder er mir reingefahren wäre? Er wäre ja trotzdem Schuld, weil ich Vorfahrt hatte. Da ist es egal, ob eine Ampel rot ist oder nicht? Vorfahren muss ich ihn sowieso nicht. Er hätte warten müssen, bis ich vorbei bin.