Wyrwał się w świat ze wsi pod Krasnymstawem. Ojciec był tam nauczycielem, matka pracowała w księgarni. On szukał dla siebie innego miejsca. W Warszawie dostał się na nauki polityczne. Była połowa lat 70.: udzielał się w Związku Socjalistycznej Młodzieży Polskiej, potem wstąpił do PZPR. Opowiadał, że długo nie chcieli go do partii przyjąć. Ponoć deklarował szacunek dla idei, ale nie krył, iż zamierza kontestować partyjne praktyki. W gruncie rzeczy jednak legitymacja PZPR była mu potrzebna, bo starał się o wyjazd na roczny staż do polskiej ambasady w RFN. I wyjechał.
Ci, którzy go dzisiaj ciepło wspominają, mówią o jego błyskotliwej inteligencji, o charyzmie, o tym, że patrzył daleko w przyszłość. Nie dostrzegł jednak dla siebie miejsca we właśnie rodzącej się Solidarności. Stanął po przeciwnej stronie. Był młody, pryncypialny i wierny swojej partii.
W grudniu 1980 r. podczas zebrania reaktywującego Związek Młodzieży Wiejskiej sala spontanicznie – wielu tak to zapamiętało – wybrała go na przewodniczącego. Ale tak naprawdę wcześniej namaszczono go na tę funkcję w KC PZPR. Kto zna realia tamtych czasów, wie, że pozornie spontaniczne odruchy miały przygotowany wcześniej scenariusz. – Udzielił wywiadu „Życiu Warszawy”, mówił bardzo ciekawie – wspomina Mieczysław F. Rakowski, wówczas redaktor naczelny „Polityki”, a niebawem wicepremier w rządzie Wojciecha Jaruzelskiego. – Powiedziałem wtedy generałowi, żeby zwrócił na niego uwagę.
Dwa lata później 28-letniego Świrgonia spotkał niespotykany awans: został sekretarzem KC PZPR ds. młodzieży i kultury.
Sekretarz z mocną dłonią
Z ramienia partii nadzorował m.in. trudny odcinek muzyki młodzieżowej. Zbigniew Hołdys, muzyk grupy Perfect, wspominał w jednym z wywiadów o łaskawości, jakiej zaznał od Świrgonia: „Pamiętam koncert w Hali Gwardii.