Il millenario luogo sacro - a un tempio romano dedicato ad Apollo succedette la prima chiesa paleocristiana - vide, nel corso del X secolo, prendere forma la Cattedrale romanica, eretta per volere del vescovo Warmondo. Di quell'edificio oggi non restano che il tiburio ottagonale, i due campanili absidali, il deambulatorio e la cripta con lacerti di affreschi restaurati: tutto il resto è stato profondamente alterato nei secoli, a partire dalla facciata neoclassica (1854). Nella cripta, il sarcofago del questore C. Atecio Valerio, di epoca augustea. L'interno barocco, composto da tre navate a croce latina, conserva sull'altare una pala del Beaumont (Madonna e santi) e, nelle sagrestie, due opere di Defendente Ferrari: Natività con S. Chiara e monache (1519) e Adorazione del Bambino (1521).