Pierwszy łódzki dom Ludwika Geyera był tak skromny, jak początki jego biznesu w tym mieście. Niezbyt zamożny emigrant w 1828 r. na wydzierżawionej od władz ziemi osiadł w drewnianym parterowym domu, który obok izb mieszkalnych mieścił także farbiarnię i drukarnię perkali. Dzięki dobrej koniunkturze i szybkiej ekspansji firmy już pięć lat później Geyer mógł przenieść się do nowego, murowanego budynku położonego bezpośrednio przy ul. Piotrkowskiej. Co ciekawe, rodowity Saksończyk zdecydował się na formę architektoniczną wprost nawiązującą do tradycji polskich klasycyzujących dworów szlacheckich z przełomu XVIII i XIX w. Przykryta czterospadowym dachem symetryczna bryła ma w środkowej części fasady facjatkę zwieńczoną sporym trójkątnym szczytem. Warto jednak zauważyć, że na obecny wygląd budynku miały istotny wpływ późniejsze przebudowy, a najbardziej charakterystyczny „dworkowy” element, czyli dwie przysadziste kolumny ujmujące wejście, dodano dopiero w 1949 r. Wcześniej nad drzwiami znajdował się żelazny balkon.

Dalsze powodzenie oraz narodziny dzieci skłoniły Ludwika w 1843 r. do kolejnej inwestycji, na działce sąsiadującej z dotychczasowym domem. Przy rogu z Górnym Rynkiem, który odtąd nazywano częściej Rynkiem Geyera, wzniósł rezydencję uznawaną za pierwszy łódzki pałac fabrykancki. Trudno dziś w to uwierzyć, patrząc na dość zaniedbaną dwupiętrową kamienicę, w którą zmieniły budynek kolejne przebudowy. Pierwotnie jednopiętrowy neorenesansowy pałac miał wychodzącą na Rynek fasadę z niskim portykiem i trzema półkoliście zamkniętymi oknami. Wysokie górne piętro wieńczyła attyka, a od strony ogrodu znajdował się taras z podjazdem. Oprócz bogato dekorowanych pomieszczeń mieszkalnych wewnątrz mieścił się także skład tkanin.

Rodzinie nie było dane długo cieszyć się reprezentacyjnym lokum. Postępujący upadek zakładów i długi zmusiły Geyera w 1860 r. do sprzedania placu przy ul. Piotrkowskiej 286 wraz z budynkiem Bankowi Polskiemu, który wkrótce umieścił tam swoją filię. Po 1877 r. pałac trafił w ręce Ferdynanda Fischera, a potem Fisela Freindlicha. Wygląd zbliżony do współczesnego nadała mu modernizacja w 1910 r., kiedy to dodano drugie piętro i zasadniczo zmieniono fasadę.