"Così, queste mura sono oggi alla mercé degli abitanti che le degradano ogni giorno di più, sia sottraendo materiali che servono a loro, sia appoggiandovi le pareti di costruzioni abusive. […] Nello spessore dei muri, molti di questi proprietari hanno ricavato degli armadi e persino delle cantine; altri si sono impossessati dei piani terreni delle torri e ne hanno fatto depositi di immondizia o magazzini […]. Eliminare queste catapecchie so potrebbe considerare una misura igienica." (Viollet-le-Duc, Archives du Patrimoine, 284)

CAvviata da Viollet-le-Duc, l'eliminazione di queste costruzioni abusive è proseguita per più di un mezzo secolo. Il restauro delle torri è stato effettuato spesso senza toccare le abitazioni sottostanti.

All'inizio del XX secolo quasi tutti i recinti sono stati liberati. Molti abitanti hanno lasciato il centro storico, altri ne hanno approfittato per installarsi all'interno della seconda cinta. A stento tollerati lungo le parti limitrofe, sono diventati in seguito gli occupanti legittimi del luogo e il periodo del restauro rappresenta per loro l'inizio di una nuova era. Il tempo delle origini della comunità si confonde con quello della nascita del monumento. Ed è così che Viollet-le-Duc, che ha allontanato gli abitanti dei recinti ma che ha dato comunque loro l'occasione di rientrare nella città fortificata, può essere considerato come una delle figure fondatrici della moderna identità cittadina.