Sus primeros pasos fueron como pianista y arreglista de Jazz trabajando al lado de músicos del género, particularmente en los años veinte. En la década de los treinta, y ya con su propia orquesta, se convirtió en el director musical de su esposa y cantante Lena Horne (actriz que también tendría una participación importante en el cine musical) y de Bing Crosby.
Con el cine sonoro comenzó su carrera como compositor, arreglista y director musical.