Położona tuż obok Białej Fabryki willa Ludwika Geyera była świadkiem zarówno radosnych, jak i tragicznych wydarzeń z dziejów rodziny. Wzniesiony ok. 1840 r. budynek na co dzień mieścił warsztaty mechaniczne – blacharnię, tokarnię i ślusarnię na parterze oraz dwa pomieszczenia stolarni na pierwszym piętrze. Za to w święta i dni wolne od pracy jego mury wypełniały się śmiechem i dźwiękami muzyki. W sali z drewnianą estradą i galerią organizowano zabawy taneczne i występy trup teatralnych, dzięki czemu willa zyskała przydomek „Domu Zabaw”. Przez pewien czas nawet działał tutaj szynk, a także odbywały się próby założonego przez Ludwika Geyera Męskiego Towarzystwa Śpiewaczego.

W latach 70. XIX w. gwar zabawy ustąpił miejsca spokojnemu życiu rodzinnemu, gdy w willi zamieszkał Gustaw Geyer z żoną Heleną. Para doczekała się dziewięciorga dzieci, z których niestety tylko sześcioro osiągnęło wiek dojrzały. Jednym z nich był Robert Geyer, przedsiębiorca, polityk i społecznik, znaczący animator polskiego życia gospodarczego w okresie międzywojnia. Już podczas I wojny światowej zaangażował się w działalność Głównego Komitetu Obywatelskiego, wspierał polskich żołnierzy i ich rodziny, usiłował stawiać odpór niemieckim rekwizycjom. Po 1918 r. na równi poświęcił się rozwijaniu rodzinnego biznesu, co budowie II Rzeczpospolitej. Jego wielokierunkowa aktywność obejmowała liczne lokalne stowarzyszenia, piastował także wiele funkcji publicznych – był członkiem rady naczelnej Stronnictwa Prawicy Narodowej, prezesem Izby Przemysłowo-Handlowej w Łodzi, pełnomocnikiem rządu ds. przemysłu, a nawet honorowym konsulem Finlandii w Polsce. Po wybuchu II wojny światowej Geyer szybko zaangażował się w pomoc więźniom obozu przejściowego na Radogoszczu. Gdy aresztowano jego stryjecznego brata, Karola Geyera, Robert podjął się interwencji u wojskowego komendanta Łodzi, tym samym sprowadzając na siebie śmierć. W niejasnych do dziś okolicznościach jeszcze tej samej nocy, 12 grudnia 1939 r., został zastrzelony przez Gestapo w swoim domu przy ul. Piotrkowskiej 280. Wraz z nim zginął jego siostrzeniec, Gwido John, najprawdopodobniej zabity w ogrodzie willi podczas próby wydostania się z potrzasku.

Do dziś niewiele pozostało z dawnego, rozległego ogrodu, w którym rozegrała się ta tragedia, gdyż obok budynku w latach 60. wytyczono ul. Milionową. Wciąż można obejrzeć zachowaną w dobrym stanie, neorenesansową willę, ze wspartym na kolumnach ozdobnym balkonem od strony fabryki. Pomimo licznych zmian właścicieli, w jej wnętrzach zachowała się część wystroju z 1911 r., m.in. dwa neoklasycystyczne marmurowe kominki, ozdobna stolarka, a także witraż z widokiem Białej Fabryki i pierwszego pałacu Geyerów, opatrzony datą 1829 – jedyne w Łodzi dzieło znanego krakowskiego zakładu S.G. Żeleński powstałe przed 1914 r.