Der erste Eigentümer des Hauses war Rudolf Köhler, ein Maurermeister, der das Haus wohl auch selbst erbaut hatte. Nachdem er das Gebäude verkauft hatte, befand sich die Belfortstraße 17 von ca. 1880 bis 1911 im Besitz der jüdischen Familie Sommer. Feist Sommer prägte als Kantor, Schächter und Lehrer der jüdischen Gemeinde das Freiburger Geschehen im religiösen sowie kaufmännischen Bereich. Die Lage zwischen Synagoge und Schlachthof war dafür ideal und zeigt die Attraktivität des Quartiers für Mitglieder der jüdischen Gemeinde. Sommer führte zugleich ein Gemeindelokal im Gebäude der Belfortstraße 17.
Seine Söhne, Siegfried (1872-1941) und Simon Sommer (1876-1947), leiteten eine vom Vater gegründete Zigarrenfabrik in Zähringen, die Belfortstraße diente teilweise als Lager und Verkaufsstelle. Simon Sommer betrieb später seinen Zigarrenladen in der Kaiserstraße 7, direkt in der Innenstadt. Seine Geschäftsadresse musste er ab 1935 in Adolf-Hitler-Straße ändern. Diesen Namen trug die heutige Kaiser-Joseph-Straße bis 1945. Durch die zunehmende antisemitische Politik sahen sich Simon und seine Frau Robertine Sommer 1939 gezwungen, Freiburg zu verlassen. Die bis dato wohlhabende Familie musste ihre Besitztümer unter Wert verkaufen. Die Enteignungsmaßnahmen und die Kosten der Flucht (nach Frankreich und schließlich in die Schweiz) raubten den Sommers ihre finanziellen Mittel. Es war eines von ungefähr 13 jüdischen Unternehmen im Viertel, denen es so erging.
Nach Simon Sommers Tod in Genf wanderte seine Frau nach New York aus. Von dort aus leitete sie später Restitutionsklagen ein. Sie verstarb 1977.
Der in Freiburg verbliebene Siegfried Sommer wurde 1940 nach Gurs deportiert und starb im Lager Récébédou. Über das Schicksal Linas, der Tochter von Simon und Robertine Sommer, ist nichts bekannt. Der später eingerichtete Stolperstein gedenkt Rosa Mayer, welche eigentlich in der Belfortstr. 19 wohnte. Da die Familie Sommer von der Belfortstraße 17 in andere Häuser umgezogen war und später durch die Flucht und Deportation verstreut wurde, ist vor dem Haus an der Belfortstraße 17 kein Stolperstein für sie angebracht.