Ezután állandóan az amerikai rokonoktól kapott Elvis- és Bill Haley-lemezt hallgatta, később gitárjával maga is megpróbálta kisebb klubokban előadni ezeket a számokat, de nem aratott sikert, sőt egyenesen eltanácsolták a további fellépésektől. Ő persze kitartott, és 1959 decemberében egy rádiós fellépése elnyerte a Vogue lemezkiadó főemberének tetszését, aki szerződést kínált a fiúnak. Az egyezség 1960-ban meg is köttetett, és az első kislemezre sem kellett sokat várni, még ebben az évben megjelent a Laisse les filles, majd nem sokra rá kijött első albuma, a Hello Johnny is.

A következő évben nagy sikerrel szerepelt az első párizsi nemzetközi rockfesztiválon, és megjelentette Chubby Checker Let's Twist Again című világslágerének feldolgozását angolul és franciául Viens danser le twist címmel. Ebből a korongból már több mint egymilliót adtak el, és aranylemez is lett. Bár Johnny Hallyday Elvis Presley nyomdokain haladt, nem lehetett a „király” egyszerű utánzójaként elkönyvelni, a franciás érzelmességből, könnyedségből mindig sikerült valamit még legrockosabb számaiba is belecsempésznie. Népszerűsége hazájában öt évtizedig volt töretlen, csaknem minden évben jelent meg lemeze, stúdióalbuma vagy koncertválogatása, ezek közül 18 platinalemez lett, s 182 turnét énekelt végig, még 2005-ben is vezette a legjobban kereső francia énekesek listáját.

Rajongótábora elsősorban hazájában, a franciául is beszélő európai országokban, a francia ajkú észak-afrikai területeken, valamint Latin-Amerikában jelentős, amikor például Las Vegasban lépett fel, a termet a Párizsból charterjáraton érkezett gall közönség töltötte meg. Filmeket is készített – forgatott olasz westernt és bűnügyi történeteket, s 2011-ben színpadon is debütált, egy kevéssé ismert Tennessee Williams-darab főszerepét játszotta egy párizsi színházban.

Magánéletét is nagy figyelem övezte. Ötször nősült, első felesége a szintén ünnepelt énekesnő, Sylvie Vartan volt, akitől fia született, harmadik nejétől, a színésznő Nathalie Baye-től pedig egy lánya. Utolsó feleségével több mint két évtizede élt együtt, s két vietnámi kislányt fogadtak örökbe 2004-ben, illetve 2008-ban. Hallyday 2006-ban belga állampolgárságért folyamodott, leginkább az adóelkerülés miatt, majd miután kérését elutasították, a svájci Gstaad városába költözött. A politika színpadán is megfordult: 1974-ben Giscard d'Estaing, 2007-ben pedig Nicolas Sarkozy elnökválasztási kampányát támogatta. 1997-ben pályafutásáért megkapta a Becsületrendet.

Bár 2009-ben bejelentette, hogy visszavonul, 2012-ben végigénekelt egy 65 koncertes franciaországi és külföldi megaturnét, és új albumot is megjelentetett, amely gyémántlemez lett. Hetvenedik születésnapját is a színpadon ünnepelte, a Rockernek született című turnéjával. 2015-ben ötvenedik albumát adta ki De l'amour (A szerelemről) címmel. A lemez egyik dalával az év elején történt párizsi Charlie Hebdo szatirikus hetilap elleni terrortámadás áldozataira emlékezett.
2009-ben vastagbélrákkal kezelték, idén tavasszal több közösségi médiumon közölte, hogy ismét daganatos betegségben szenved. A franciaországi Marnes-la-Coquette-ben halt meg.