W utworze „Herezja” narrator mówi o zniszczeniu muru berlińskiego, który położył kres co najmniej 40-letniemu rządowi komunistów. Narrator dalej szczegółowo opisuje koniec komunizmu w Rosji i jak dużo czasu zostało wcześniej zmarnowane.
Chóry piosenki zagłębiają się w poczucie wyzwolenia i emocje prześladowanych przez komunizm. Dotyczy tego, w jaki sposób upadek muru utorował innym drogę do handlu w globalnej gospodarce oraz myśli o usprawnieniu systemów.
Ten utwór został wyprodukowany przez Rusha i Ruperta Hine'a. Został wydany 1 stycznia 1991 roku jako siódmy utwór ich Roll the Bones album.
Plik mur berliński była fizyczną barierą, która oddzielała Zachód od NRD lub Niemieckiej Republiki Demokratycznej. Jednak załamanie wyborów parlamentarnych w Polsce, w połączeniu z otwarciem ogrodzenia węgiersko-austriackiego, oznaczało początek upadku muru. Na wieść o otwarciu granicy węgierskiej ponad 13 000 Niemców z NRD próbowało uciec do Austrii przez Węgry.
Po serii wydarzeń rząd węgierski uniemożliwił więcej Niemcom wjazdu do kraju. Osieroceni Niemcy Wschodni tłoczyli się następnie w ambasadzie Niemiec Zachodnich. Liczba podróżujących zaczęła rosnąć z biegiem lat, co stało się problemem dla rządu NRD. W listopadzie 1989 r. Günter Schabowski, urzędnik rządowy, omyłkowo ogłosił otwarcie granicy, która umożliwiła podróżnym wjazd do Berlina Zachodniego.