L'oratorio della Vergine della Ferruzza è situato nella parte in collina del territorio di Contrada. La struttura fu edificata intorno alla metà del quattrocento, fuori Porta Nuova di Sant'Andrea, nei pressi del luogo dove fin dal secolo precedente sorgeva un romitorio.

La facciata della Chiesa è preceduta da un portico seicentesco raggiungibile da una scalinata ai cui piedi si trovano ancora oggi gli antichi lavatoi.

All'interno un affresco dello stesso periodo della costruzione dell'edificio e rappresentante la Vergine col Bambino tra i Santi Giovanni Battista e Antonio Abate è opera di un pittore fiorentino della metà del quattrocento, dotato di una forte componente disegnativa, che riecheggia Andrea del Castagno.

La tela che lo copriva, lasciando scoperta solo la Vergine col Bambino, è attribuita ad Alessandro Rosi e attualmente si trova nel Museo civico.

La Chiesa fu di patronato del Comune, che a lungo ne nominò gli "operai" incaricati di conservare l'edificio, finché alla fine del settecento passò al Capitolo della Collegiata di San Giovanni Battista dai cui sacerdoti è tuttora officiata. Si ha notizia inoltre di quella che venne battezzata "La Ferruzzina", cioè di un tabernacolo contenente l'immagine della Madonna, edificata nel 1596 all'angolo di quella che poi, alcuni secoli più tardi sarebbe diventata la piazza della Ferruzza.

La Ferruzzina rappresentava per gli abitanti di allora, una sorta di sorella minore della Chiesa della Ferruzza. Essa tuttavia ebbe vita fino a che, nel 1786, il Comune non la mise in vendita, insieme al terreno circostante, per sopperire alle enormi spese effettuate per la costruzione della nuova Collegiata. Da allora non se ne ebbe più notizie.

La Festa dedicata alla Madonna della Ferruzza ha luogo ogni anno nel mese di agosto.