Joseph Kosma naît à Budapest le 22 octobre 1905. Il commence l’étude de la musique tôt et à onze ans écrit un petit opéra Le Noël des tranchées qui révèlera ses dons. Après ses études classiques, sur le conseil de Léo Weiner, compositeur et pédagogue important, il entre à l’Académie de musique de Budapest, dont il sortira avec un diplôme de direction d’orchestre ; assistant chef d’orchestre à l’opéra, il participe aux répétitions du Mandarin merveilleux de Bartók.
En 1928, titulaire d’une bourse d’études, il part pour Berlin où il rencontre Lilly Appel, pianiste et concertiste réputée ; elle deviendra son épouse. Elle sera sa meilleure conseillère et sa conscience musicale. Il participe au théâtre de Bertold Brecht et Helena Weigel ; les songs brechtiens seront le moule de ses futures chansons. Il se lie d’amitié avec le compositeur Hanns Eisler.
En mars 1933, face à la montée du nazisme, Kosma et sa femme se réfugient en France – années difficiles – où la rencontre du poète et scénariste Jacques Prévert et du cinéaste Jean Renoir sera le début de leur salut : musiques de La Grande Illusion et de La Bête humaine, premières chansons « pas comme les autres ».
La guerre et l’exode, le contraignent à rejoindre les Alpes-Maritimes où il séjournera presque cinq ans. Il écrira, sous des prête-noms, des musiques de film, notamment Les Visiteurs du soir et Les Enfants du paradis. Il compose également des œuvres de musique pure, dont la Sonate 1940 écrite pour son épouse Lilly et créée par elle, et un concerto pour piano qui deviendra la Fantaisie concertante.
De retour à Paris en octobre 1944, c’est le début d’une très grande activité : chansons (Les Feuilles mortes, Si tu l’imagines), ballets (Le Rendez-Vous, L’Écuyère), musiques de scène, cantates (Les Ponts de Paris), opéras (Les Canuts), musiques symphoniques (Concertino pour clarinette et orchestre), musiques de chambre (Sonatine pour violon et piano, Duo pour contrebasse et piano), et musiques de film (Les Portes de la nuit, Les Chouans, La Partie de campagne, Le Petit Soldat, La Ferme des sept péchés, Juliette ou La Clef des songes).
Joseph Kosma meut le 7 août 1969 à La Roche-Guyon.