De van oorsprong Armeense Legrand was de zoon van de componist en orkestleider Raymond Legrand (1908-1974) die grote artiesten als Édith Piaf en Maurice Chevalier begeleidde. Nadat hij was afgestudeerd aan het conservatorium van Parijs begon hij daadwerkelijk met componeren voor grote artiesten zoals jazztrompettist Dizzy Gillespie. 

Tegen het eind van de jaren vijftig legde hij zich steeds meer toe op filmmuziek. Zijn soundtracks voor Hollywoodfilms vormden de basis voor zijn wereldwijde roem en succes. Een van zijn bekendste werken is de filmmusical Les Parapluies de Cherbourg (1964) waarin Catherine Deneuve debuteerde. 

Twaalfmaal werd Legrand voor een Oscar genomineerd, voor de filmsong Windmills of your Mind uit de speelfilm The Thomas Crown Affair uit 1968 van regisseur Norman Jewison en de soundtracks van de films Summer of 42 (1971) en Yentl (1983) kreeg hij de prijs ook daadwerkelijk. Daarnaast werd hij driemaal voor de César genomineerd en ook twaalfmaal voor de Golden Globe, die hij voor de The Thomas Crown Affair eenmaal ontving. 

Legrand nam meer dan honderd albums op met internationaal bekende sterren zoals Ray Charles, Perry Como, Neil Diamond, Ella Fitzgerald, Aretha Franklin, Lena Horne, James Ingram, Jack Jones, Kiri Te Kanawa, Frankie Laine, Tereza Kesovija, Johnny Mathis, Jessye Norman, Diana Ross, Frank Sinatra, Barbra Streisand, Sarah Vaughan en Shirley Bassey.