Основателем «Annihilator» является гитарист Джефф Уотерс. Сначала он играл в «Trojan hammer», но эта команда просуществовала недолго, и он основал свой проект «Jeff Waters project», потихоньку трансформировавшийся в «Annihilator». В первый состав группы также вошли Майк Фармер (ударные), Джон Перинбам (вокал) и Дэвид Скотт (бас), хотя в основном этот был просто тандем Уотерса и Скотта. Остальные двое вскоре были уволены, а вместо них в коллективе появились вокалист Джон Бэйтс и ударник Ричард Дет. Эта конфигурация записала демку «Welcome То Your Death», после чего барабанщика выпнули, а на его место взяли Пола Малека. За сим последовала еще одна демка, «Phantasmogoria», благодаря которой группе удалось заполучить контракт с «Roadrunner records».
Тем временем состав еще несколько раз перетасовался, и к 1989 году новыми членами коллектива стали Энтони Гринхэм (гитара), Вэйн Дарли (бас) и Рэй Хартман (ударные, экс-«Assault». На роль вокалиста был принят бывший басист известной в Канаде команды «D.O.A.» Рэнди Рампадж.
Когда в 1989 году появился дебютник «Alice In Hell», он как раз попал в полосу трэшевого бума, и, соответственно, получил хорошие обзоры в прессе. Конечно, немалая заслуга в этом была и самого Уотерса, виртуозно владевшего гитарой, а также записавшего практически в одиночку все остальные партии. В том же году «Annihilator» первый раз посетили Европу. Перед началом тура Джефф выгнал Рампаджа, а вместо него ангажировал Кобурна Фарра. Энтони Гринхэм решил не дожидаться, когда его пнут под зад, а потихоньку свалил сам, уступив место Дэйву Скотту Дэйвису. Это произошло накануне сессий для второго диска, «Never Neverland». Пластинка получилась получше первой, поскольку голос Фарра больше подходил для музыки, которую играли «Annihilator».
Уотерса же теперь признавали не только у себя в Канаде, но и за рубежом. Примером тому может служить приглашение Джеффа Дэйвом Мастейном в «Megadeth». Однако альянс по непонятным причинам не состоялся, и Уотерс со своей командой отправился разогревать «Judas priest» во время их британского тура.
Запись третьего альбома началась при участии нового второго гитариста, Нила Голдберга. По ходу сессий Джефф разругался с Кобурном, и тот хлопнул дверью. Заменой ему стал Аарон Рандал, но его вокал больше подходил для попсы, чем для металла, и в результате «The World On Fire» провалился. Эта неудача, а также дальнейшие флуктуации в составе привели к разрыву контракта с «Roadrunner». В 1994-м в «Annihilator» кроме Уотерса и вернувшегося Дэйвиса входили еще басист Кэм Диксон и барабанщик Рэнди Блэк, однако к 1996-му группа была сокращена до двух человек (Уотерс и Блэк). А альбом 1997 года, «Remains», Джефф снова записывал практически в одиночку. Через пару лет он все-таки одумался, и собрал «Annihilator» в составе: Рампадж, Хартман, Дэйвис и Расс Бергквист (ударные).
В 2000-м году место выкинутого в очередной раз Рампаджа занял Джо Комю из «Overkill». А на следующий год на свое место вернулся Рэнди Блэк. Примерно в это же время к команде примкнули Дэйв Скотт и Каррэн Мерфи, при участии которых была записана новая пластинка, «Waking The Fury».