Né à la Ciotat
en 1933, Jean Boiteux grandit dans une famille où la natation relève de la tradition. Sa mère, Bibienne Pellegry, a participé deux fois aux Jeux Olympiques
, en 1924 et en 1928, tandis que son père, Gaston, nagea en compétition notamment pour le Stade Toulousain, où il a remporté une médaille d'argent au 500 m nage libre lors des Championnats de France de 1921
. Accompagné de ses frères et de sa sœur, le futur champion olympique apprend à nager dans la ferme familiale. Remarquant le talent de son fils, Gaston contacte en 1946 Alban Minville, célèbre entraîneur d'Alex Jany, l'idole du jeune nageur. Convaincu, Jean, âgé de quatorze ans, s'en va étudier au lycée Saint-Joseph de Toulouse et rejoint l'effectif des Dauphins du TOEC, le meilleur club national de l'époque qui reste encore aujourd'hui une référence !