Pochodzący z Anglii Cocker zaczynał karierę w latach 60., gdy wraz z trzema kolegami założył zespół „The Cavaliers”. Kapela rozpadła się zaledwie po roku, a on zaczął używać pseudonimu scenicznego Vance Arnold.
Jego nowy zespół „Vance Arnold and the Avengers” grał głównie covery Chucka Berry’ego i Raya Charlesa w lokalnych pubach. Zanim stał się sławny, występował także z Big Blues i z The Grease Band.
Na muzyczny szczyt wyniosło jego wykonanie przeboju Beatlesów „With a Little Help of My Friends”. Piosenka była numerem jeden w brytyjskim Top Ten w 1968 r., a rok później stała się jednym z hymnów na Woodstocku. Przebój ten pojawia się też w czołówce słynnego serialu „Cudowne lata”. W 2002 r. w Buckingham Palace wykonał tę piosenkę z okazji Złotego Jubileuszu królowej Elżbiety II z akompaniamentem Philla Collinsa na perkusji i Briana Maya na gitarze. W swojej karierze występował też m.in. z Rayem Charlesem i Carlosem Santaną.
W 1972 r. został zatrzymany w Australii za posiadanie marihuany i nakazano mu opuszczenie tego kraju w ciągu 48 godzin. To również czas jego uzależnienia od twardych narkotyków i alkoholu. W połowie lat 70. udało mu się jednak wylansować przebój „You are so beautiful”.
W 1982 roku powrócił na szczyt przebojem „Up Where We Belong” wykonywanym z Jennifer Warners, który pojawił się na ścieżce dźwiękowej filmu „Oficer i dżentelmen”. Z kolei „You Can Leave Your Hat On” pojawił się w słynnym obrazie „Dziewięć i pół tygodnia” w 1986 r. Z sukcesem przyjęto też jego „Unchain My Heart”.
W Polsce Joe Cocker gościł kilkukrotnie.