Au Nord de l'actuelle primatiale, sur le site de l'église Saint-Étienne, les vestiges de plusieurs édifices qui se sont succédés sur le lieu depuis le 4^e s. : des thermes gallo-romains, un baptistère paléochrétien, une arcade de l'église Sainte-Croix, élevée au 15^e s.