Seize ans avant le début du roman, à Reims, Pâquette-la-Chantefleurie est mère célibataire d'une belle petite fille d'un an prénommée Agnès. Un jour, un groupe de bohémiens traversait la ville et sa fille fut kidnappée pendant son absence. Quelques heures plus tard, elle trouva à sa place un enfant de quatre ans, complètement différent, bossu, borgne et boiteux.

Un mois plus tard, un enfant de quatre ans a été abandonné devant la cathédrale Notre-Dame le dimanche de Quasimodo et a été adopté par Claude Frollo, l'archidiacre de la cathédrale. L'enfant se consacre entièrement à lui, devenant sonneur de cloches de cathédrale et ajoutant la surdité à ses autres faiblesses. Il s'aventurait rarement dehors à cause de son apparence : les gens n'aimaient pas voir le bossu borgne et boiteux.

Une nuit, Frollo est fou amoureux de la danseuse gitane Esméralda et ordonne son enlèvement, pour lequel il est condamné à deux heures de pilori place de Grève et à une amende. L'affaire a été jugée par un public sourd, et Quasimodo lui-même était sourd : le procès était une farce, et Quasimodo a été condamné sans être entendu, sans rien comprendre. Lorsqu'il a été exposé, le danseur a eu pitié de lui et lui a donné à boire. Il est également tombé amoureux d'elle.

Une nuit, Frollo est fou amoureux de la danseuse gitane Esméralda et ordonne son enlèvement, pour lequel il est condamné à deux heures de pilori place de Grève et à une amende. L'affaire a été jugée par un public sourd, et Quasimodo lui-même était sourd : le procès était une farce, et Quasimodo a été condamné sans être entendu, sans rien comprendre. Lorsqu'il a été exposé, le danseur a eu pitié de lui et lui a donné à boire. Il est également tombé amoureux d'elle.

Plus tard, alors que Esméralda est condamnée à mort et en route vers la potence, il la prend dans ses bras et l'emmène à Notre-Dame, sanctuaire inviolable de la justice. Il la regarde alors jalousement, espérant la séduire.

Des voyous de la Cour des Miracles, ses compagnons, ont couru et ont tenté de la libérer de force. Craignant pour la sécurité de ses disciples, Quasimodo commet l'erreur de défendre la cathédrale contre les intrus. Frollo profite de l'agitation pour tenter de s'enfuir avec Esmeralda, mais comme elle continue de le rejeter, il la confie aux soins de sœur Gudule (anciennement connue sous le nom de Paquet Chante Fleury), une ermite de Truolat.

Mais au lieu de satisfaire chez la jeune femme sa haine intense des Tsiganes, la vieille femme reconnut sa fille bien-aimée Agnès aux chaussures pendantes que portait sa cadette le jour de son enlèvement : les deux femmes en portaient soigneusement une sur elles, et elles étaient identiques. Malheureusement, Paquette ne pourra pas profiter longtemps de ces retrouvailles inattendues. Le gendarme de la ville attrape Esmeralda et la ramène à la potence. En tentant de protéger sa fille, Chantefleurie tombe sous la potence et meurt sur le coup.

Esméralda est exécutée. Quasimodo en est témoin du haut de la tour et jette Frollo dans le vide, où il meurt à côté du corps d'Esmeralda, où reposent les restes de l'homme torturé.