Gegen Ende des 19. Jahrhunderts zogen die Arbeiter aus den Zentren weg an die Ränder der Städte und Dörfer. Damals waren die Gründe dafür ähnlich wie heute: Die Preise für Miete und Land waren an der Peripherie günstiger als in der Mitte der Ortschaften. Nicht selten wurden solche Preissteigerungen sogar forciert, um die Arbeiter aus den Ortskernen zu vertreiben.
Das günstige Land war aber auch für Fabrikanten und Gewerbetreibende willkommene Gelegenheit, um mit ihren Unternehmen umzuziehen und zu expandieren. Die Ballung großer ehemaliger Fabrikgebäude im Osten Wichlinghausens zeugen von diesen Bestrebungen. Doch auch die Arbeiter in diesen Fabriken wohnten in der Nähe der Fabriken, aber sie wohnten dort nicht nur, sie lebten dort auch. Sie gründeten Familien, ließen sich nieder und kauften ein.
Die Bewohner der Häuser im Wichlinghauser Osten gegen Ende des 19. Jahrhunderts waren Bandwirker und Fabrikarbeiter, die häufig ihre Wohnungen wechselten, wenn sie die Firmen änderten, in denen oder für die sie arbeiteten. Erst um das Jahr 1900 herum kommt, das zeigen die Adressverzeichnisse, Ruhe in den Wohnungsmarkt und Alleinstehende, Ehepaare und Familien bleiben teils über Jahrzehnte in den Wohnungen, die sie angemietet haben.
Wilhelm Haarmann sen. gehört nicht zu diesen Menschen. Er hatte sich für anderes entschieden. Wilhelm Haarmann betrieb in der Diekerstraße 109 ein Lebensmittelgeschäft oder wie es damals hieß: eine Specereihandlung. Im Osten Wichlinghausens war dies eine der ersten Geschäfte dieser Art. Das Gebäude Diekerstraße 109 lag übrigens nicht an der heutigen Straße Am Diek, sondern befand sich in der zweiten Reihe dieser Straße. Das Gelände dort war damals noch nicht erschlossen. Das Gebäude wurde ursprünglich nach 1875 durch die Familie Haarmann erbaut. Sie hatte das Gebäude, heute Kreuzstraße 14, großzügig angelegt. Im Erdgeschoss war Platz für den Lebensmittelladen, in den Stockwergen darüber lagen mehrere Wohnungen. In einem Hinterhaus wurde Kleingewerbe betrieben und auch dort in den oberen Etagen gewohnt. Das Grundstück lag zudem in der Nähe des Haarmann’schen Gutes an der Diekerstraße 29, heute tatsächlich Am Diek 29, und war so bis zum Bau der Dieker Schule, schnell zu erreichen. Die neue Schule lag direkt zwischen den beiden Häusern.
So weit waren die Pläne der Familie Haarmann gedacht. Wilhelm eröffnete sein Geschäft im neuen Haus, doch schon 1877 starb er und sein Sohn, auch mit dem Namen Wilhelm und ausgebildeter Schreiner, übernahm das Geschäft. Große Lust hatte er jedoch nicht darauf, das Geschäft seines Vaters fortzuführen. Er tat es vor allem seiner Mutter zur Liebe, die aber 1879 auszog, um der Familie im Stammhaus Am Diek 29 zu helfen. Dieser Teil der Familie hatte einen Schicksalsschlag erlebt. Der Vater Friedrich August war mit nur 49 Jahren verstorben und hinterließ eine Witwe mit mehreren Kindern. Die Tante, Wilhelms Witwe, zog nun dorthin zurück. Mit ihr zog auch das Haushaltsgeschick um. Denn trotz der miserablen Ausgangslage schaffte es dieser Teil der Familie schließlich das Grundstück Am Diek 29 zu kaufen, auf dem sie zwar jahrelange gewohnt hatten, es aber erst nach 1900 erwarben.
Danach fühlte sich Wilhelm jr. nicht mehr dem Traum seines Vaters verpflichtet und die Specereihandlung verschwindet. Das Ladengeschäft wurde zur Schreinerei, die der Sohn aber auch mit wenig Elan betrieb. Generell war in geschäftlichen Dingen wenig erfolgreich. Das große Grundstück an der neuen Kreuzstraße wurde bald aufgeteilt, erst wurde das Hinterhaus zerteilt, dann ganz verkauft. 1889 ereilte auch das Vorderhaus dieses Schicksal. Haarmann musste verkaufen und zog weg. Das Haus wurde zur Konkursmasse eines bankrotten Lebens, wurde schließlich von einem Buchbindergehilfen gekauft, der es in den 1910er Jahren an die Walter Kellner AG veräußerte. Als diese wenige Jahre später Bankrott ging, folgte als Eigentümer der schwedische Industrielle Jakob Svenson, der in der Wichlinghauser Schulstraße lebte.