W Austrii. Długo nie było pewne, czy nie zostanie Austriakiem z wyboru. Kiedy zaś powrócił do Polski, przez wiele lat w powszechnej opinii uchodził za bawidamka, utracjusza i dandysa, za nic mającego los ginącej ojczyzny.
Rodzicami księcia byli Andrzej Poniatowski, austriacki generał i brat króla Stanisława Augusta, oraz Teresa hrabina Kinsky von Weichnitz und Tettau, dama dworu cesarzowej Marii Teresy, należąca do wpływowego rodu magnackiego. Mały Pepi (ur. 1763 w Wiedniu) od urodzenia był rozpieszczany. Przedwczesna śmierć ojca sprawiła, że w wychowaniu syna było niewiele elementów polskości. Przed utratą kontaktu z krajem przodków uchronił Józefa stryj, który zadbał też o jego edukację. Nauczyciele nie zdziałali cudów. „Nawet francuskiej pisowni nigdy się nie nauczył, choć języka tego w młodości zwykle używał”. Z polską było jeszcze gorzej. Podczas wizyty na Uniwersytecie Jagiellońskim w 1784 r. skreślił w księdze gości koślawe słowa: „Jusef xiążę Poniatowski”. Zdecydowanie lepiej posługiwał się językiem polskim w mowie. Bez wątpienia największą przyjemność książę czerpał z ćwiczeń fizycznych. Szybko przyswajał sobie sztukę fechtunku i jazdy konnej. Lubił tańczyć. Z czasem zasmakował w grach karcianych.
Był urodziwym młodzieńcem. Niebyt wysoki, ale smukły i harmonijnie zbudowany. Rysami przypominał ojca. Dość szybko zaczął jednak łysieć. Na XIX-wiecznych portretach jego głowę zdobi już dobrze wykonany tupecik. Była w obliczu księcia jakaś miękkość i delikatność, by nie powiedzieć – kobiecość. Opisując charakter księcia, jego najsłynniejszy biograf Szymon Askenazy stwierdził: „Naprawdę przecie uczuciowiec, nerwowiec, na pozór tylko sangwinik, w gruncie trochę melancholik, miał temperament nadmiernie wrażliwy, subtylizujący, łatwo podlegający czarnowidztwu, nieobronny przeciw głębokiej depresji duchowej i przygnębieniu myśli i woli”.