La crypte (5^e s.) constituée par l'ancienne abbaye, renferme une série de sarcophages antiques, païens et chrétiens. À côté, se trouvent la grotte de saint Victor et l'entrée des catacombes où sont vénérés saint Lazare et sainte Marie-Madeleine près du sarcophage dit de saint-Cassien, découvert en 1965. Dévastée par les Sarrasins, l'église fut reconstruite vers 1040 et puissament fortifiée. Les lourdes ogives du porche sont les plus anciennes du Midi.