Podziemną działalność w szeregach Polskiej Partii Socjalistycznej rozpoczynał jako przekonany zwolennik idei „samodzielnej Rzeczpospolitej demokratycznej”, fundamentu programu przyjętego w końcu 1892 r. w Paryżu. Z obozem socjalistycznym związał się organizacyjnie i programowo do wybuchu I wojny światowej, nie tylko kierując poczynaniami partii, ale modelując jej oblicze. Nigdy jednak nie był doktrynerem, wyznawcą dogmatów klasowych czy jakichkolwiek innych. Łączył umiejętność syntetyzowania trzeźwej analizy, opartej na realnych przesłankach, z wyznaczaniem celów odległych, zda się niemożliwych do osiągnięcia.
Socjalizm drogą do niepodległości
W PPS to właśnie poczucie realizmu skłaniało go do oponowania przeciwko utożsamianiu momentu wywalczenia niepodległości z natychmiastowym objęciem władzy przez socjalistów. Polska socjalistyczna była wprawdzie dlań przez wiele lat ideałem, ale swych współtowarzyszy przekonywał, że „bez Polski burżuazyjnej się nie obejdziemy”. Nie ulega wątpliwości, że istotą jego politycznych przekonań pozostawała nieodmiennie niepodległa, suwerenna Polska.
Socjalizm na ziemiach polskich postrzegał jako najdalej wysuniętą na wschód placówkę socjalizmu europejskiego, zaś jego historyczne znaczenie upatrywał w roli „obrońcy Zachodu od zaborczego i reakcyjnego caratu”. O wspólnocie interesów międzynarodowego socjalizmu i kwestii polskiej przekonywał na IV Kongresie II Międzynarodówki, obradującym na przełomie lipca i sierpnia 1896 r. w Londynie. Piłsudski zasiadał w delegacji polskiej reprezentującej trzy zabory, m.in. obok Ignacego Daszyńskiego, Witolda Jodki-Narkiewicza oraz Ignacego Mościckiego. Usiłowali oni, wbrew stanowisku grupy reprezentującej poglądy SDKP, przeforsować rezolucję w kwestii polskiej, której najważniejsza część zawierała się w stwierdzeniu, że „niepodległość i autonomia Polski jest niezbędnym politycznym żądaniem, leżącym zarówno w interesie polskiego proletariatu, jak i międzynarodowego ruchu robotniczego”.