Das Dorf wird 1228 im "Oculus Memoriae" des Klosters Eberbach erstmals urkundlich erwähnt. Holler war seit dem Ende des 17. Jahrhunderts Hauptort des gleichnamigen Bannes, der die Ortschaften der Gelbachhöhen und der Elbertgemeinden umfasste.
Holler besaß bereits 1548 eine der Heiligen Margaretha geweihte Kapelle. Die Ortsgemeinden Stahlhofen, Daubach, Untershausen, Nieder- und Oberelbert, ...