" Ainsi ces murailles sont aujourd'hui à la merci des habitants qui les dégradent chaque jour, soit en enlevant des matériaux pour leur besoin, soit en appuyant contre les parois des murs des constructions parasites. […] Beaucoup de ces propriétaires ont établi des armoires, des caves mêmes dans l'épaisseur des murs ; d'autres se sont emparés des rez-de-chaussée des tours et en ont fait des dépôts d'immondices ou des magasins […] L'enlèvement de ces masures pourrait être considéré comme une mesure de salubrité." (Viollet-le-Duc, Archives du Patrimoine, 284)

Entamé par Viollet-le-Duc, le nettoyage de ces maisons parasites s'est étalé sur plus d'un demi siècle. La restauration des tours s'est souvent effectuée sans toucher aux habitations qui étaient en dessous.

Au début du XXe siècle le dégagement des lices est quasiment achevé. Beaucoup d'habitants ont quitté la cité, d'autres en ont profité pour s'installer à l'intérieur de la seconde enceinte. Après n'avoir été que tolérés sur ses abords, ils sont devenus les occupants légitimes du lieu et, pour eux, la période de la restauration correspond au début d'une nouvelle ère. Le temps des origines de la communauté se confond avec celui de la naissance du monument. Et c'est ainsi que Viollet-le-Duc, qui a chassé les habitants des lices mais leur a, par là même, donné l'occasion de rentrer dans la ville fortifiée, peut apparaître comme une des figures fondatrices de l'identité citadine moderne.