Józef Poniatowski przyszedł na świat 7 maja 1763 r. w Wiedniu. Jego rodzicami byli Andrzej Poniatowski, austriacki generał i brat króla Stanisława Augusta, od 1764 r. posiadacz dziedzicznego tytułu książęcego, oraz Teresa hrabina Kinsky von Weichnitz und Tettau z wpływowego rodu magnackiego, dama dworu cesarzowej Marii Teresy. Podstawy potęgi rodu stworzył dziad Józefa, Stanisław Poniatowski, który swoje losy związał z królem Szwecji Karolem XII. Jak napisał Paweł Jasienica, „rozejrzawszy się pilnie po dziejach Polski i Litwy, uznać wypadnie jego [Stanisława] karierę za nie mającą sobie równych, jedyną w swoim rodzaju, niepowtarzalną”. Przeznaczeniem wnuka była kariera równie wielka. Miał być większy niż król ten książę.
Andrzej Poniatowski zmarł w 1773 r. i opiekę nad dziećmi (Józef miał starszą o trzy lata siostrę Marię Teresę) przejęła matka, zniemczona Czeszka, która nie radziła sobie najlepiej z ich wychowaniem. Była nadopiekuńcza i przewrażliwiona. Mały Pepi, jak w najbliższej rodzinie nazywano Józefa, znalazł się na prostej drodze wiodącej do utracenia kontaktu z krajem przodków. Przed takim losem uchronił go koronowany stryj Stanisław August Poniatowski, który obdarzył bratanka prawdziwie ojcowską opieką i zadbał o jego edukację. Wysiłki nauczycieli skończyły się jednak połowicznym sukcesem. Pepi historię i literaturę poznał zaledwie powierzchownie, a z gramatyką i ortografią, zarówno francuską, jak i polską, był zupełnie na bakier. W księdze gości Uniwersytetu Jagiellońskiego, który odwiedził w 1784 r., widnieją koślawe słowa: „Jusef xiążę Poniatowski”. Zdecydowanie lepiej posługiwał się językiem polskim w mowie.
Największą przyjemność sprawiały mu ćwiczenia fizyczne i „rycerskie” zajęcia. Doskonale jeździł konno i świetnie fechtował.