Уилфред Сильвестр родился 20 марта 1942 года в поселке Кастри в Сент-Люсии, Вест-Индия. В январе 1961 года, когда парню было 18 лет, его семья перебралась жить в Лондон, Англия. Вскоре он пристрастился к спорту, а именно к атлетизму.
В 1965 году Уилфред выступает на своем первом турнире «Мистер Вселенная» (Mr Universe - NABBA), где становится 5-ым в категории низкий рост. Годом позже он улучшает результат до 2-го места на этом же состязании.
В 1967 году спортсмен опять финиширует вторым на «Мистер Юниверс», но получает звание самого мускулистого. Победу в абсолютном зачете тогда одержал Арнольд Шварценеггер. В этом же году Сильвестер побеждает на «Мистер Британия» (Mr Britain - NABBA). В следующем году он таки получает победу на долгожданном турнире «Мистер Вселенная» в категории низкий рост.
В 1984 году Уилфред побеждает на престижном турнире «Чемпионат Мира» среди любителей (World Amateur Championships - IFBB) и получает карту профессионального культуриста.
В 1985 году начинается его карьера среди профессионалов на «Мистер Олимпия». Спортсмену удалось финишировать на 13-ой позиции из 24-ех конкурсантов. В 1986 году он пробует свои силы на «Ночь Чемпионов», где становится опять-таки 13-ым.
В 1988 году спортсмен завершает свою карьеру культуриста. По натуре Сильвестр был очень душевным человеком. Все, кто имел честь с ним пообщаться, отмечали, что в разговоре Уилфред всегда любезно улыбался. Складывалось впечатление, что он очень рад тебя видеть. Его доброта сподвигла его участвовать в благотворительном фонде Принцессы Дианы в 80-ых годах. Некоторое время он работал инструктором по фитнесу.
В 1994 году чемпион осуществил свою заветную мечту – открыл свой собственный спортивный клуб под названием «Wilf Sylvester'S International Health & Fitness Centre». Скоро он стал очень популярным за счет приветливости своего хозяина. Говорят, что Уилфред часто не брал с людей деньги за посещения, так что приходилось настаивать, чтобы он их взял.
Всю свою жизнь Уилфред находился в теплых и дружеских отношениях с Арнольдом Шварценеггером, Лу Фериньо, Сержем Нюбрэ и Паком Рабани (Paco Rabanne).
К большому сожалению, в 1999 году, когда спортсмену было всего 57, у него диагностировали болезнь Альцгеймера. С этих пор его здоровье стало быстро ухудшаться. 17 сентября 2006 года Сильвестр скончался, будучи дома в окружении семьи, состоящей из любящей жены Селины и детей Никола, Лиза, Антея и Андре.