Legend räägib, et merel olid paksus udus ekselnud Norra meremehed, kes lubasid, et kui nad eluga maale pääsevad, püstitavad nad tänutäheks Jumalale pühakoja. Siis kuulnud nad kukelaulu ning selle peale kaldale sõites jõudsid nad Nõva randa. Nagu lubatud, ehitasid nad rannikule kõrgemale künkale, kohaliku mõisa tuuleveski kõrvale kabeli ja pühendasid selle Pühale Olavile, Norra pühaks kuulutatud märterkuningale. Kuke auks, kelle kiremine nad õigesse suunda juhatas, on kiriku tornis tavapärase risti asemel hoopis kullatud kuke kuju.
Külarahvas on pidanud praeguse kirikuhoone ehitusajaks 1636. aastat. Hilisem dendrokronoloogiline analüüs määras kirikuseinas asuvate palkide mahavõtmise aastaks 1749, nii et tegelikult võib kirik olla siiski sada aastat noorem ehk ehitatud umbes 1750ndatel aastatel.
Samas ei pruugi see kogukonna mälule tuginev arvestus ka sugugi vale olla ja mingi osa praegusest kirikuhoonest pärinebki 1636. aastast, kuid on remonditud või osaliselt taastatud mingil põhjusel 18. sajandi keskel.
Eestis on Pühale Olavile peale Nõva kiriku pühendatud ka Tallinna Oleviste, Vormsi ja mõlema Pakri saare kirikud.