Mój tata jest bardzo fajny. Mieszkał w Polsce, w Warszawie, ale potem zaczęła się wojna i przyszli Rosjanie. Tata jest kompozytorem. Rosjanie o tym wiedzieli i chcieli, żeby im coś zagrał. Ale nie powiedzieli: proszę. Dlatego pewnej nocy tata wyjechał do Anglii”. Tak napisał w gazetce szkolnej sześcioletni Jem, czyli Jeremy Panufnik, syn kompozytora. Andrzej Panufnik nie chciał obciążać dzieci swoją historią, nie uczył ich też języka polskiego. Tłumaczył to swego czasu krytykowi Tadeuszowi Kaczyńskiemu: „Uważam, że wychowanie dzieci w duchu podwójnej narodowości prowadzi do ich wewnętrznego rozdarcia”.
W 1990 r. odwiedził Polskę wraz z żoną, córką i synem, po raz pierwszy i ostatni po ucieczce z PRL, na rok przed śmiercią. Przyjmowano go po królewsku. Na festiwalu Warszawska Jesień wykonano aż 11 jego kompozycji; dwiema sam zadyrygował. Po raz pierwszy do wolnej Polski przyjechała też wówczas Wanda Wiłkomirska, która wykonała jego Koncert skrzypcowy.
Już samemu przylotowi Panufników nadano wyjątkową oprawę: na lotnisku zespół instrumentów dętych wykonał jego „Pean” skomponowany w 1980 r. na 80 urodziny brytyjskiej królowej matki, a następnie utwór napisany specjalnie na przyjazd kompozytora przez Krzesimira Dębskiego, z humorem łączący popularne melodie polskie i angielskie.
Zamieszkał w hotelu Victoria. Podczas wojny w tym miejscu znajdowała się kawiarnia Sztuka i Moda, w której ze swoim dawnym kolegą z konserwatorium Witoldem Lutosławskim grywali na dwa fortepiany. Odwiedził kilka ważnych dla niego miejsc. Po Zamku Królewskim oprowadzał go prof. Aleksander Gieysztor, z którym w gimnazjum siedział w jednej ławce. Poszedł pod adres swojego zniszczonego podczas powstania domu, do pałacyku Szustra na Mokotowie, gdzie mieszkała niegdyś jego ukochana babcia – z domu Szuster – i na cmentarz Powązkowski, gdzie spoczywają jego rodzice, brat i córeczka z pierwszego małżeństwa.