Pawłowsk założono w 1778 r., ale już od stu lat istniała tu osada obronna i strażnica Kozaków Zaporoskich walczących z Tatarami i Kozakami Dońskimi. Potem przybyli Kozacy Azowscy, którzy zdradzili Imperium Osmańskie (Turcję) i przeszli na stronę Rosji. Miasto rozwijało się wraz z napływem ludności, która zakładała manufaktury i żyła z rybołówstwa. Aby nawrócić ją na chrześcijaństwo, w 1779 r. wymyślono „Mariupol”, „miasto Maryi” (człon „pol” pochodzi od greckiego „polis”). Co ciekawe, Sowieci długo tej nazwy nie zmieniali, funkcjonowała aż do 1948 r. Wtedy miasto przemianowano na Żdanow. Do Mariupola powrócono w 1989.
W 1905 r. przetoczyła się tu fala robotniczych strajków, krwawo tłumionych (rewolucja 1905 r.). Jesienią 1917 Mariupol dotknęła też rewolucja październikowa, a w czasie wojny domowej trwającej do 1920 r. 17 razy przechodziło z rąk do rąk – na przemian bolszewików i białogwardzistów. Od 1928 zachodzi tu forsowna industrializacja. Bliskość złóż rudy żelaza w całym zagłębiu Krzywego Rogu, dobrego węgla koksowniczego w rejonie Doniecka, a także portu i Morza Azowskiego sprawiły, że Mariupol okazał się idealnym miejscem do budowy jednej z największych na świecie stalowni, huty i walcowni metali żelaznych, znanej dziś jako Azowstal.
Budowę prowadzono w latach 1928–33, w tym czasie przez wschodnią Ukrainę przetoczyła się związana z przymusową kolektywizacją rolnictwa