Hermann Koller wurde am 17. Juni 1911 in Frankfurt am Main geboren. Seine Eltern waren Österreicher, die Vorfahren österreichische Landwirte. Die Kindheit verbrachte er in und bei Passau, besuchte dort die Volksschule und das Gymnasium. Abitur 1928. Noch als Gymnasiast machte Koller die Bekanntschaft von Alfred Kubin. Kubin beteiligte ihn an einer Ausstellung der »Neuen Donauschule«.

1928—1933 • Der nächste Lebensabschnitt begann 1928 mit der Aufnahme in das Städelsche Kunstinstitut zu Frankfurt am Main und endete 1934 mit der Emigration. Die Ausbildung zum Maler war für Koller von Anfang an verbunden mit intensiver politischer Betätigung. Sein ausgesprochener Antifaschismus war nicht Partei gebunden, sondern beruhte auf einer humanistischen Grundlage: Förderung von Bildung und Menschlichkeit. In Frankfurt arbeitete er im Atelier von Willi Baumeister, persönlich näher aber stand ihm H. Lismann, den er treffend als Grandseigneur unter den Malern bezeichnete. 1929 ging Koller als Meisterschüler und mit einem Staatsstipendium versehen zur Akademie Karlsruhe. Sein Lehrer, Wladimir von Zabotin, hatte die Fähigkeit, seinen Schüler gewähren zu lassen und ihn dadurch zu fördern. Koller nahm an Ausstellungen teil wie »Künstler unter dreißig Jahren« oder »Deutsche Kunst der Gegenwart«. 1934 floh der soeben mit dem Preis der Badischen Sezession ausgezeichnete Maler über die Schweiz und Italien nach Jugoslawien.

1934—1937 • Mit der Emigration begann eine abenteuerliche Reise durch den Balkan. In Jugoslawien arbeitete Koller mit leidenschaftlicher Besessenheit. Schon 1935 konnte er eine Einzelausstellung in Sarajevo vorweisen, 1936 eine Ausstellung in Belgrad und 1937 stellte er auf Einladung des tschechischen Künstlerbundes in Prag aus. Nach Beendigung der Ausstellung in Prag reiste er nach Spanien und blieb dort bis zum Ende des Bürgerkrieges (März 1939).

1939—1941 • Der Maler wendete sich nach Paris. Nach kurzer Zeit beteiligte er sich neben Frans Masereel (1889–1972) und Jean Metzinger (1883–1956) dort wieder an einer Ausstellung. Es entwickelte sich der Plan, nach Jugoslawien zurückzukehren, als die deutschen Truppen näherrückten. Vor dem Einmarsch in Paris am 14. Juni 1940 hatte der nunmehr bereits mehrfach gesuchte und gejagte Künstler das Land verlassen und Jugoslawien erreicht. Koller malte wieder, behielt seinen Mut, seine Fassung. Als im April 1941 Belgrad besetzt wurde, gab er, der ebenso gut serbisch wie deutsch sprach, sich als Jugoslawiendeutscher aus. Als Volksdeutscher kam er noch im selben Jahr über Italien zurück nach Deutschland.

1941—1944 • Koller wurde Luftwaffensoldat. Als Volksdeutscher konnte er keinen Heimaturlaub beanspruchen. So benutzte er die ihm dennoch zustehenden freien Tage und Wochen dazu, in Brüssel zu malen. Ausstellungen in Brüssel und in Paris (Jeu de Paume). Aber auch der politisch engagierte Mensch brach sich Bahn: Koller beteiligte sich am Widerstand.

1944—1951 • 1944 geriet er in Gefangenschaft und erhielt eine Stelle als Lehrer an der »School of arts and crafts« in Brüssel. Seine Schüler waren alliierte Soldaten. 1947 wurde Koller dienstlich nach Hamburg beordert. Er arbeitete wiederum als Lehrer, und zwar an der für die Engländer eingerichteten Kunsthochschule. Sodann übernahm er eine Aufgabe, die ihn, den Maler, besonders fesseln musste: Im Auftrag der Unesco unterrichtete er Juden, die den Aufenthalt in Bergen-Belsen überlebt hatten, im Zeichnen und Malen und half ihnen, den Lebensmut wiederzufinden. In verstärktem Maß erfüllte Koller diese Aufgabe in Wilhelmshaven, als er im Auftrag der Regierung mit seinen Mitteln und Möglichkeiten jüdischen Menschen half, überhaupt erst oder wieder einmal einen Beruf zu finden.

1951—1972 • Als unabhängiger Maler und Grafiker kam Koller 1951 nach Köln, wo er bis zum Ende seines Leben blieb. Er lernte seine Frau Anne-Marie kennen, die er 1965 heiratete. Es folgten bis zu seinem Tod zahlreiche Ausstellungen. Am 5. August 1972 starb Hermann Koller in Köln.