Budynek został wzniesiony jako dom przedpogrzebowy przy nowym cmentarzu żydowskim, powstałym w latach 1902–1903. Zaprojektował go Max Fleischer, słynny wiedeński architekt, zgodnie z wytycznymi religijnymi dla miejsca, gdzie przygotowywano zmarłego do ostatniej drogi. Wykonawcą była firma budowlana Juliusa Scheera z Gliwic. Otwarcie cmentarza wraz z domem przedpogrzebowym odbyło się 15 listopada 1903 r.
Dom przedpogrzebowy składał się z trzech głównych części: centralnej – reprezentacyjnej sali modlitewnej z wyjściem bezpośrednio na cmentarz, kostnicy – gdzie przygotowywano zmarłego do pochówku zgodnie z przepisami religii żydowskiej, oraz mieszkania stróża.

Do II wojny światowej zarówno cmentarz, jak i obiekt pełniły swoją pierwotną funkcję. Podczas wojny budynek był magazynem wojskowym, nie uległ jednak zniszczeniu. Po 1945 r. cmentarz i dom przedpogrzebowy użytkowała powojenna Gmina Żydowska, działająca w Gliwicach, w części bocznej zaś znajdowało się mieszkanie dozorcy. Z czasem z domu przestano korzystać i zaczął on popadać w ruinę.
W 2003 r. został wpisany do rejestru zabytków, a w 2007 r. Gmina Żydowska przekazała go Miastu Gliwice. W 2012 r. prezydent miasta podjął decyzję o odrestaurowaniu dawnego żydowskiego domu przedpogrzebowego i przekształceniu go w oddział Muzeum w Gliwicach, któremu nadano nazwę Dom Pamięci Żydów Górnośląskich. Rewitalizację zabytkowego obiektu sfinansowano w całości z budżetu Miasta Gliwice.