Didier Breton naît en 1864 sur une ferme à Saint-Lazare, dans le comté de Bellechasse. Ce village d’environ 400 familles est situé à un peu plus de 50 kilomètres de la ville de Québec. Didier est le premier enfant d’une famille qui en compte neuf.
Didier passe sa jeunesse à Saint-Lazare. C’est là qu’il rencontre sa femme, Ludivine Laverdière. Comme lui, elle a grandi sur une ferme. Ils se marient en 1888 : il a 24 ans et elle, 17. Malgré leur jeune âge, ils connaissent bien les exigences du monde agricole et s’installent sur leur propre ferme à Saint-Lazare. Prenant soin de bien établir ce premier fils qu’il affectionne particulièrement, le père de Didier lui cède à son mariage un terrain avec un moulin à farine. Il lui confère aussi le droit de s’approvisionner en bois « tant qu’il le veut », sur le terrain d’à côté, qu’il garde en sa possession.
Un an après le mariage, le couple a un fils, Joseph. Il est le premier de douze enfants, mais seuls sept d’entre eux survivront au-delà de la petite enfance. Alors que les enfants sont très jeunes, Didier procède à plusieurs transactions qui témoignent peut-être de certaines difficultés : emprunts, remboursements, ventes. Il finit par abandonner l’agriculture pour se consacrer au métier de meunier, grâce à son moulin à farine. En 1901, Didier déclare un salaire annuel de 300 $, une somme comparable à celle du forgeron du village.
À cette époque, Didier entend sans doute parler des salaires attrayants que gagnent les Canadiens français en Nouvelle-Angleterre. Il se décide donc à aller voir ce qu’il en est. Maîtrisant déjà l’anglais, il part seul une première fois, de 1904 à 1906. Deux ans plus tard, il repart pour les « États », mais cette fois accompagné de toute la famille. Le couple s’installe à Manchester, au New Hampshire, où se trouve alors la plus grande usine de textile au monde, l’Amoskeag.
Lors de leur passage à la frontière, Didier est interrogé par un agent d’immigration, en vertu d’une nouvelle réglementation instaurée aux États-Unis. Didier affirme avoir 30 $ en poche et aller rejoindre une tante à Manchester. L’agent note également plusieurs détails : Didier mesure 5 pieds et 7 pouces (1,7 mètre), il a les cheveux et les yeux gris et une cicatrice sur le front.
À leur arrivée, les Breton louent un appartement au centre de la ville, sur la rue Elm, principale artère commerciale de la ville. Les Canadiens français sont très nombreux à Manchester. Même si la famille Breton ne s’installe pas tout de suite dans le « Petit Canada », elle est tout de même entourée de quelques Canadiens français, immigrants comme eux ou nés en sol américain. La famille dispose non seulement du salaire de Didier, mais aussi de celui des quatre garçons qui travaillent dans les « factries ». Léon travaille avec Didier à l’usine de coton, tandis qu’Ernest et Wilfrid sont employés dans une fabrique de boîtes et Léo, âgé de 15 ans, dans une manufacture de chaussures. Éva et Émilie, âgées respectivement de 12 et 7 ans, vont à l’école, ce qui est obligatoire au New Hampshire en 1910, contrairement au Québec.
Les Breton déménagent ensuite dans le « Petit Canada », où la concentration de Canadiens français est encore plus grande. La vie s’y déroule en français, contrairement aux autres quartiers de la ville, où la population est composée de personnes provenant, entre autres, d’Irlande, de Suède, de Grèce et d’Italie. Le Petit Canada est situé à une distance de marche raisonnable pour Didier qui, à 51 ans, travaille encore à l’usine de l’Amoskeag. Didier n’achète pas de maison dans le Petit Canada. En fait, il ne deviendra jamais propriétaire aux États-Unis, ce qui correspond à la réalité de la grande majorité des Canadiens français vivant en Nouvelle-Angleterre au tournant du 20e siècle.
À la différence d’autres migrants canadiens-français, Didier et Ludivine s’établissent durablement à Manchester, où ils passeront le reste de leur vie. Ils ne reviennent pas au Québec, ne déménagent pas dans une autre ville industrielle de la Nouvelle-Angleterre et ne partent pas dans l’Ouest américain ou canadien pour un éventuel retour à la terre. Les enfants de Didier et Ludivine restent également aux États-Unis et ne reviennent pas non plus au Québec. Quatre d’entre eux se marient même à deux pas de la rue Dubuque, où habitent leurs parents, dans la paroisse Sainte-Marie à Manchester.