[...] ma nella zona c’erano già da alcuni secoli molti eremiti...

Alcune tradizioni vogliono che in quel luogo esistesse già un monastero edificato dal duca Tulliano di Siponto con le rendite dei genitori, che erano ricchi patrizi romani, intitolato a San Gregorio Magno, e appartenente all’ordine di Sant’Equizio o degli Equizi. Altri sostengono la precedente presenza di eremiti basiliani e orientali. Anche sulla derivazione del nome, le leggende sono discordanti: alcuni fanno derivare il toponimo da Giano, c'è chi vuole l’importazione del nome da una località vicino Taranto, chiamata appunto Pulsano, dove San Giovanni ha soggiornato, e c’è chi fa derivare il nome dal fatto che la Vergine avrebbe guarito il santo, febbricitante, prendendogli il polso, per cui da polso sano si sarebbe giunti a Pulsano. Quest’ultimo è il significato che si trova nei racconti leggendari e nei canti dei pellegrini. Il quadro della Madonna di Pulsano, purtroppo, è stato rubato nel 1966, così come è stata trafugata buona parte dell'arredo sacro e numerosi elementi scultorei ed architettonici del complesso abbaziale che è sicuramente una delle più importanti espressioni del romanico pugliese. Di certo si sa che prima dell’anno mille c’erano diversi eremiti che vivevano in quelle zone e sappiamo che, a partire dal 1129 sul Gargano attorno a Giovanni da Matera vi erano sei discepoli che nel giro di pochi mesi diventarono sessanta.
Costoro ben presto costruirono un monastero. Nei dintorni, e specialmente nel Vallone dei romitori i monaci costruirono o riutilizzarono molte piccole abitazioni generalmente scavate sulle pareti della montagna dove trascorrevano lunghi periodi di solitudine assoluta nella preghiera e nella contemplazione.
La comunità aveva assunto la Regola di San Benedetto ma si dedicava anche a un'attiva vita apostolica tra i contadini e soprattutto tra i pellegrini provenienti dalla Grotta di San Michele e diretti in Terra Santa. Ben presto si diffuse la fama di questa comunità, grazie anche agli abati, come Giordano e Gioele, che continuarono l’opera del fondatore, fino a diventare un vero e proprio ordine monastico, la Congregazione benedettina dei Pulsanesi. Già a partire dal XIII secolo, il monastero entrò in una fase di decadenza. Il suo ultimo abate fu un certo frate Antonio eletto nel 1379, costui pare che si fosse schierato con l'antipapa Clemente VII il quale aveva dato inizio al grande scisma di Occidente. Il pontefice Urbano VI pur non destituendolo, ne ridusse il potere sottraendo alla sua giurisdizione il benefizio abbaziale e affidandolo a un Abate Commendatario. Alla morte dell’abate Antonio gli edifici subiranno gravi danni sia per i vari terremoti che per l'abbandono. Nonostante le vicissitudini dell’abbazia, il culto della Vergine venne tenuto in vita da diversi ordini monastici, Carmelitani, Francescani e Domenicani, e da alcuni eremiti che dimoravano nelle vicinanze. Nel settecento il monastero ricevette le cure dei Celestini, i quali lo abbandonarono quando, agli inizi del secolo XIX, furono soppressi dal governo di Gioacchino Murat.
Partiti i Celestini, la chiesa fu affidata a dei cappellani. Uno di questo, Nicola Bisceglia nel 1842 la acquistò con le sue pertinenze. Di recente è ritornata ad essere proprietà della diocesi di Manfredonia e vi curano il culto e la vita un discreto numero di monaci.