L'origine du village semble davantage reculée que les textes mentionnant son existence. Il était déjà fait mention de la commune à la fin du XIème siècle sous l'écriture Hellemmes, progressivement le nom trouvera son écriture actuelle. Il semble qu'à cette époque Elesmes était une bourgade assez importante pour preuve les médailles retrouvées à différentes époques aux effigies d'Auguste et de Tibère, elle aurait également eu une cure et probablement un marché à cette époque là. Le village fut par la suite ravagé au XIIème (vers 1185) par le duc de Bravant et l'archevêque de Cologne contre le comte de Hainaut.
-Deux seigneuries se sont partagé le territoire : au XIVème siècle la première appartenait à Wautier de Husten qualifié de seigneur d'Hélemmes dans un acte de 1346. Pendant longtemps ladite seigneurie forma un arrière-fief relevant des sires de Quiévrain.
-La seconde appartenait aux seigneurs de Mortagne, Potelles, Romeries... puis aux sires de Clarges. François de Clarges qui avait pris parti pour la réforme religieuse eut la tête tranchée sur la place de Mons le 24 février 1573, ses terres mises en vente furent rachetées par la maison sainte Aldegonde. La demeure des seigneurs d'Elesmes a été construite en 1595 sur les débris d'un château plus ancien.
-Vers le milieu du XVème siècle, le village comptait 21 foyers, en 1709 sa population était de 131 habitants, en 1851 on compte 489 habitants répartis dans 96 maisons. Le moulin de l'hôpital est alimenté par le ruisseau du même nom ; la route de Maubeuge à Binche traverse en ce lieu ledit ravin et s'avance dans la plaine parsemée d'une grande quantité de sources. L'une de ces sources appelée fontaine Louis XIV servit à désaltérer le souverain en 1692 lorsqu'il se rendit au camp de Givry.
-Au cours de la Première Guerre mondiale en septembre 1914, le village d'Elesmes fut en grande partie détruit, l'église incendiée, l'école des filles, le presbytère, la mairie-école des garçons, le moulin de l'Hôpital ont subi de gros dégâts. Même si la plus grande perte que le village a eu à subir fût celle d'une centaine de personnes qui ont dû être enterrés sur leurs lieus de décès avant de pouvoir être enterré au cimetière militaire d'Assevent.
La croix de guerre avec citation à l'ordre de l'armée a été accordée au village pour les motifs suivants :
<< Vaillante cité qui a été en grande partie détruite par de violents bombardements et dont la population a conservé une attitude des plus énergiques pendant l'occupation ennemie >>
