El padre de Frank tenía una orquesta «pit» (el foso en el área del teatro donde la orquesta con los músicos toca bajo la batuta del director) en el cine local. Sus padres querían que fuera abogado, pero él quería una carrera musical. Desde los 14 años fue miembro del sindicato de músicos y trabajó para su padre en la orquesta del teatro. Tocaba el piano, el violín y el saxofón. Después de su ir a la universidad, se unió a la orquesta de Emerson Gill haciendo giras. Más tarde, se uniría a otras bandas como músico y arreglista.  

En 1943 se mudó a California y allí fundó su propia orquesta trabajando para emisoras de radio y más tarde, con el inicio de la TV en diversos para programas que le darían mucha popularidad. En su faceta de director de banda y arreglista trabajó para intérpretes tan importantes como Vic Damone, Doris Day y Tony Bennett. Con su propia orquesta grabó muchos discos en una época donde las orquestas que interpretaban música del momento tenían un importante reconocimiento.

Sería en los años cincuenta donde daría el salto a la música de cine (hay que decir que incluso llegó a ser un actor conocido). A lo largo de su carrera estuvo nominado al Óscar en cinco ocasiones. Algunas de sus bandas sonoras más representativas fueron; ‘¿Qué fue de Baby Jane?’ (1962), ‘Adivina quien viene esta noche’ (1967), ‘Doce del patíbulo’ (1967), ‘Mis adorables sobrinos’, TV (1966) ‘El virginiano’, TV (1968) etc.