Il santuario fu edificato tra il 1607 e il 1613 con le offerte dei fedeli a seguito di grazie e miracoli ottenuti per intercessione della Madonna, affrescata con ogni probabilità all'interno di un piccolo tabernacolo lungo la via. Non si hanno conferme documentarie della preesistenza del tabernacolo, ma il fatto che l'oggetto venerato sia un affresco staccato, lascia supporre che esso fosse in origine collocato all'interno di una "marginetta" posta in prossimità di una cava, da cui l'appellativo popolare di "Madonna della Cava". L'affresco rappresenta la Vergine con il Bambino Gesù.
La devozione popolare nei confronti della Madonna della Cava fu eccezionale durante tutto il XVII secolo, quando la chiesa veniva visitata da numerosi devoti e pellegrini. Il culto decrebbe molto tra sette e ottocento.
Dal punto di vista architettonico l'oratorio rappresenta un interessante esempio di chiesetta a pianta ottagonale, circondata da un porticato su sei lati.