Darf der Vermieter mitvermietete Gegenstände einfach entfernen?

Wenn sie ein Sicherheitsrisiko bilden oder eine unzulässige Anschaffung sind, dann ja (z. B. ein Gartenhäuschen im Garten, das nicht den Bestimmungen entspricht und der Vermieter es nach Aufforderung der Kommune abreißen lassen muss). 

Etwas konkreter wäre nicht schlecht.

Wenn in dem Mietvertrag aufgeführt ist, dass z.B. ein Sonnenschirmständer auf dem Balkon dabei ist, dann muss da auch ein Sonnenschirmständer sein.

Wenn er sie ersetzt weil abgewohnt dann ja.

natürlich nicht - Du zahlst ja Miete dafür