Dom wybudowano w 1904 r. w czasach, gdy Gdynia była rybacką wioską, a ulica Starowiejska, przy której stoi Dom Abrahama krętą polną drogą. Wbrew nazwie, dom nigdy nie należał do Antoniego Abrahama, lecz do znanej gdyńskiej rodziny Skwiercz, która posiadała wiele nieruchomości w ówczesnej Gdyni. W roku 1920 zamieszkał w nim Abraham i spędził w nim ostatnie trzy lata życia – stąd nazwa domu.

Dziś również budynek należy do rodziny Skwiercz, która w latach 1970-2013 udostępniała go na siedzibę Muzeum Miasta Gdyni. Kiedy miasto wybudowało nowy gmach muzeum przy ul. Zawiszy Czarnego, w Domku Abrahama urządzono ekspozycję poświęconą najstarszym dziejom Gdyni jako rybackiej wsi. Jednak w 2013 r. na skutek ograniczenia budżetu MMG zrezygnowało z dalszego najmu domku.

Od 2013 roku Domek Abrahama stał pusty, aż do roku 2016 kiedy to została otwarta tu włoska restauracja Sempre, należąca do Mathiasa Stolarskiego.