Józef Schmidt pochodził z typowo śląskiej rodziny przed wojną mieszkającej na terenie III Rzeszy. Ojciec wcielony do Wehrmachtu zginął już na początku wojny, a matka postanowiła razem z dziećmi zostać po wojnie w Polsce, choć wszyscy mówili po niemiecku. Józef za namową starszego brata, Edwarda, który był reprezentantem Polski w sprincie, zaczął trenować sprint, skok w dal i trójskok, w którym okazał się niezwykłym talentem. W 1958 roku w Sztokholmie został mistrzem Europy, przed igrzyskami 1960 roku ustanowił niezwykły jak na tamten czas rekord świata 17.03, a na igrzyskach w Rzymie zdobył złoty medal. Ciągle nękany poważnymi kontuzjami, ledwo co wyleczony po ciężkiej operacji, w 1964 roku zdobył drugi złoty medal olimpijski. Po zakończeniu kariery wyjechał z rodziną do Niemiec, ale po zmianach ustrojowych wrócił do Polski i osiedlił się na Pomorzu, w okolicy Drawska Pomorskiego.