Početkom XX veka Novi Sad je bio grad u usponu. Zahvaljujući privrednom razvoju, železnici i rastu stanovništva, njegovo urbano jezgro dobijalo je sve više reprezentativnih građevina koje su odražavale duh modernog doba. Među brojnim zajednicama koje su oblikovale život grada značajno mesto zauzimala je i jevrejska zajednica, koja je tokom prethodnih vekova dala važan doprinos trgovini, zanatstvu i društvenom životu Novog Sada.
Kako je broj vernika rastao, postojeća sinagoga više nije mogla da zadovolji potrebe zajednice. Zato je doneta odluka da se podigne novo, monumentalno zdanje koje bi odgovaralo značaju i brojnosti novosadskih Jevreja. Godine 1905. započeta je izgradnja pete sinagoge na tom mestu, prema projektu znamenitog budimpeštanskog arhitekte Lipota Baumhorna, jednog od najpoznatijih graditelja sinagoga u srednjoj Evropi.
Nova građevina projektovana je u duhu mađarske secesije, sa elementima koji su spajali tradiciju i savremene arhitektonske tokove. Pored same sinagoge, planiran je i čitav kompleks koji su činile zgrade Jevrejske opštine i škole, čime je stvoren jedinstven kulturni i verski centar u srcu grada. Izgradnja je trajala nekoliko godina, a završena je 1909. godine.
U to vreme Novi Sad je već bio poznat po svojoj multietničkoj i multikonfesionalnoj sredini. Pravoslavne crkve, rimokatolička crkva, protestantske bogomolje i nova sinagoga zajedno su svedočile o raznolikosti grada i o zajedničkom životu različitih zajednica. Upravo ta raznolikost predstavljala je jednu od njegovih najvažnijih osobina.
Tokom burnog XX veka Sinagoga je ostala nemi svedok velikih istorijskih događaja i stradanja novosadskih Jevreja tokom Drugog svetskog rata. Iako danas više ne služi kao aktivni verski hram, sačuvana je kao jedan od najvrednijih spomenika kulture u Srbiji i jedno od najvažnijih koncertnih i kulturnih prostora Novog Sada.