Podobne ako u iných budov či námestí v Berlíne, aj na pamätník bola vypísaná architektonická súťaž. V roku 1944 sa jej víťazkou stala Christiane Jacob Marková, ale návrh čiernej betónovej dosky, kde by boli napísané mená všetkých obetí holocaustu, sa nepáčili vtedajšiemu nemeckému kancelárovi Helmutu Kohlovi. Ten projekt označil za príliš megalomanský. O tri roky neskôr bola vypísaná ďalšia súťaž. Tú vyhral newyorský architekt Peter Eismann a sochár Richard Serr.
Pamätník tvorí 2711 šedých betónových kvádrov rôznej výšky. Tie sa rozkladajú na ploche viac než 19 000 m2. Tento pamätník holocaustu z výšky evokuje dojem vĺn.
Pod pamätníkom sa nachádza informačné centrum, ktoré ponúka archív filmového, zvukového a obrázkového materiálu súvisiaceho s holocaustom. Okrem toho sa tu snažia dokumentovať mená všetkých Židov zavraždených v Európe. Vypočítali, že keby mali byť prečítané všetky mená a príbehy osôb, ktoré sú tam zapísané, trvalo by to šesť rokov a sedem mesiacov.