Dzieciństwo
Józef Piłsudski, herbu Piłsudski, urodził się 5 grudnia 1867 w Zułowie na Wileńszczyźnie, w rodzinie o tradycjach patriotycznych. Ojciec, Józef Wincenty (1833–1902), był podczas powstania w 1863 komisarzem Rządu Narodowego na powiat rosieński, matka – Maria z Billewiczów (1842–1884) – pochodziła ze znanego rodu szlacheckiego herbu Mogiła. Rodzice zawarli związek małżeński po wybuchu powstania styczniowego (23 kwietnia 1863).
Po stłumieniu powstania, uchodząc przed prześladowaniem ze strony Rosjan, Józef Wincenty Piłsudski uciekł ze Żmudzi na Litwę, gdzie też kilkakrotnie zmieniał miejsce pobytu. Dopiero jesienią lub zimą 1863 nowożeńcy zamieszkali na stałe w posagowym Zułowie.
Józef Wincenty Piłsudski postawił na uprzemysłowienie. Poddał majątki żony (Adamowo, Suginty, Tenenie, Zułów, razem ok. 12 000 ha) gruntownej modernizacji, sprowadził specjalistów, również z zagranicy. Nad brzegiem Mery wybudował duży trzypiętrowy młyn, dużą gorzelnię, wytwórnię drożdży, cegielnię i wytwórnię terpentyny. Wzniósł również nowy dwór.
W majątku Zułów 5 grudnia 1867 urodził się Józef Klemens Piłsudski. Był czwartym w kolejności dzieckiem – w 1864 urodziła się Helena, w 1865 – Zofia, a w 1866 – Bronisław Piłsudski. Po Józefie, którego w rodzinie nazywano Ziukiem[e], urodzili się także Adam (1869), Kazimierz (1871), Maria(1873), Jan (1876), Ludwika (1879), Kacper (1881) oraz bliźnięta Piotra i Teodora (zmarli w wieku 1,5 roku, w lutym 1884).
Józef został ochrzczony 15 grudnia 1867 w kościele rzymskokatolickim w majątku Sorokpol (dekanat święciański) przez księdza Tomasza Wolińskiego. Rodzicami chrzestnymi byli Józef Marcinkowski i Konstancja Rogalska.
Maria Piłsudska wychowywała swoje dzieci w duchu głęboko patriotycznym, dbała też o ich wykształcenie. Dzieci uczyli sprowadzeni do dworu nauczyciele. Języków uczyły dwie bony, Niemka i Francuzka.
Nieudana działalność inwestycyjna ojca doprowadziła zarządzane przez niego majątki do ruiny. Problemy rodziny pogłębił pożar, po którym w 1874 Piłsudscy przenieśli się do Wilna, zmuszeni tam do egzystencji w trudnych warunkach materialnych.
Tu w 1877 Józef, wraz z bratem Bronisławem, rozpoczął naukę w I Gimnazjum wileńskim, mieszczącym się w gmachu dawnego uniwersytetu. W gimnazjum bracia, razem z innymi uczniami, poddawani byli intensywnej rusyfikacji. Wiosną 1882 obaj bracia (wraz z innymi kolegami) założyli kółko samokształceniowe o nazwie Spójnia, zajmujące się sprowadzaniem z Warszawy polskich książek.