Ludwig Zimmerer pod koniec II wojny światowej, jako młody chłopak, wcielony został do Wehrmachtu, z którego podobno zdezerterował. W Warszawie pojawił się w październiku 1956 r. jako pierwszy powojenny korespondent zachodnioniemiecki. Nie znał języka. Reprezentował „Die Welt”, miał zaledwie 32 lata, a musiał się zmierzyć z trudną materią skomplikowanych, przesiąkniętych zmorami przeszłości, stosunków polsko-niemieckich. I podobno radził sobie z tym zadaniem bardzo dobrze. Przyjechał na kilka tygodni, pozostał do końca życia.
Pod koniec lat 50., mniej więcej po dwóch latach pobytu w Polsce, po raz pierwszy kupił rzeźbę ludową. Przedstawiała Żyda z umierającym dzieckiem i nosiła tytuł „Ostatnie objęcie”. Po niej przyszły następne zakupy. Począł gromadzić dzieła artystów naiwnych, prymitywnych, niedzielnych, ludowych: obrazy, rzeźby, rysunki, kilimy.
Dziennikarka „Gazety Wyborczej” Joanna Szczęsna przez wiele lat pracowała u Zimmerera, a po jego śmierci wielokrotnie o nim pisała. W jednym z takich wspomnień przytaczała jego słowa: „Sztuka mnie nie interesuje. Tylko ludzie i ich losy”. Jeszcze dosadniej scharakteryzował ową postawę Marcin Brykczyński, także wieloletni współpracownik Zimmerera: – Powiedział mi kiedyś, że tę całą sztukę to on ma... i tu określił dokładnie lokalizację. A tak naprawdę interesowało go, dlaczego ludzie to robią. Dlaczego jakiś taki bejdak ledwo mówi, coś tam bełkocze, a potem bierze siekierkę, ciupie nią w pieniek i wychodzą z tego niesamowicie mocne, pełne wyrazu, proste rzeźby. Paradoksalnie, największy prywatny i jeden z największych w ogóle zbiorów polskiej sztuki ludowej powstawał właściwie jako efekt uboczny kolekcjonowania ludzkich losów, uczuć, emocji.