Обучался в Йельском и Гарвардском институтах, потом преподавал в Йельском институте британский язык и сценическое искусство (посреди его учеников, а именно, был —Торнтон Уайлдер), управлял институтским экспериментальным театром-студией. Со студенческих лет будучи близким другом Коула Портера, Вулли был сорежиссёром нескольких мюзиклов Портера на Бродвее конца 1920-х — начала 1930-х гг. В 1936 г. 47-летний Вулли оставил преподавательскую карьеру и стал актёром, добившись за следующие 20 лет сценической деятельности значимого фуррора и популярности.
Более известные роли Вулли — большая роль в кинофильме «Крысолов» по роману Невила Шюта (1942, номинация на премию «Оскар») и одна из основных ролей в кинофильме «Человек, который пришёл к обеду» (1942, на базе мюзикла, в каком Вулли также играл). Вулли также был номинирован на «Оскар» за наилучшую роль второго плана в кинофильме «С того времени как вы ушли» (1944) и сыграл себя самого в очень мистифицированном биографическом кинофильме о Портере «Ночь и день» (1946).
