La costruzione è stata edificata su un antica chiesa ipogea dei SS. Pietro e Paolo. Questa chiesetta rupestre è ancora oggi visitabile, vi si accede tramite una botola dalla terza cappella sulla sinistra e vi è presente un affresco raffigurante la visita del Papa Urbano II a Matera del 1093. Alcuni cronisti narrano che nel 1218 detta chiesa ospitò San Francesco d’Assisi in persona.
La prima struttura della chiesa risale però alla prima metà del Duecento, ma aveva disposizione esattamente opposta a quella moderna, ed oggi possiamo ancora vederne la cella campanaria con pareti affrescate.
Un primo ampliamento lo si ebbe già nel Quattrocento, ma bisogna attendere il Settecento perché la Chiesa ed il convento raggiungano il loro massimo splendore, ed è a questo periodo che risale la bella facciata in tardo barocco, luminosa ed armonica, opera degli architetti Vito Valentino e Tommaso Pennetta. Durante la visita guidata si potrà ammirare, al centro della facciata superiore, la statua dell’Immacolata, ed ai due lati, San Francesco e Sant’Antonio.
L’interno ha una sola navata con piccole cappelle dedicate ad alcuni nobili materani benefattori. Custodisce un pregevole polittico di nove dipinti a tempera su tavola di Lazzaro Bastiani, un artista della scuola veneta del 1500.