Бейкер занимался многими видами спорта — он выигрывал несколько соревнований в плавании, играл в аква поло за один из клубов Сиднея, занимался регби. Но главным его амплуа был бокс. Он выиграл несколько чемпионатов родного штата Новый Южный Уэльс.
В 1908 году Бейкер принял роль в летних Олимпийских играх 1908 в Лондоне. В боксе он соревновался в весовой категории до 71,7 кг и занял 2-ое место, выиграв серебряную медаль. Также он участвовал в 2-ух аква видах спорта — в эстафете 4×200 м свободным стилем, в какой его команда заняла четвёртое место, и в прыжке в воду с 3-метрового трамплина, в каком он вышел уже из четвертьфинала.
В 1918 году Бейкер занялся кино, и в 1920 году переехал в Лос-Анджелес, США. Он снялся в 13 фильмах и был продюсером трёх картин. Он также делал лошадиные трюки в одном кинофильме и учил Элизабет Тейлор езде на лошадях.
