Pougin commençe dès l’âge de sept ans l’étude de la musique avec sa mère, musicienne amateur. Il travaille comme violoniste pour de nombreux orchestres dès l’âge de treize ans.
Il exerce ensuite cette même fonction à l’Opéra-Comique et suit les cours d’harmonie d’Henri Reber tout en s’essayant à la composition. Ne pouvant faire valoir ses propres œuvres, il se tourne vers la littérature musicale et débute, en avril 1859, à la Revue et Gazette musicale dans laquelle il publie des études biographiques sur divers musiciens français du xviiie siècle, à l’époque oubliés ou peu connus, comme Campra ou Mondonville.
Sa carrière de violoniste à l’orchestre de l’Opéra-Comique lui permet d’apprendre à connaître les œuvres de l’école française, d’étudier l’art des grands maîtres, leur harmonie et leur instrumentation, car il envisage dès cette époque de retracer l’histoire des artistes français. Il commence notamment une série d’études sur les maîtres de la scène lyrique française et publie des livres sur quelques-uns d’entre eux dont Rameau, Boieldieu ou encore Adolphe Adam.
Collaborateur de plusieurs journaux artistiques comme La France musicale, Le Ménestrel, L’Art musical, Le Théâtre, il livre un grand nombre d’écrits sur différents artistes français ou étrangers (Halévy, Meyerbeer, Rossini, Bellini, etc.). Ces écrits paraîtront ensuite pour la plupart d’entre eux sous forme de livres ou de brochures.
Pougin est en outre chargé de la critique musicale dans diverses feuilles littéraires comme Le Camarade, Figaro-Programme, Paris illustré. Pierre Larousse, directeur du Grand Dictionnaire universel du xixe siècle, lui confie toute la partie de cet immense ouvrage concernant la musique.
En 1871, il refuse une sous-préfecture importante renonçant ainsi à une carrière dans l’administration à laquelle il préfère sa vie d’artiste et d’écrivain indépendant.
Pougin publie dans Le Ménestrel une série de notices biographiques sur Elleviou, Mme Dugazon et la famille Gavaudan, notices qui formeront plus tard le volume Figures d’opéra-comique.
