L'église saint-André a été construite aux XIIe et XIIIe siècles. Au XIVe siècle, les Hospitaliers de Saint-Jean de Jérusalem ont construit des remparts autour de l’église pour protéger les habitants de Luz des attaques des bandits espagnols appelés les « Miquelets ».

À cette époque, un grand fossé entourait l’église et un pont-levis permettait de le franchir. Quelques années plus tard, la chapelle Notre-Dame de la Pitié a été édifiée à l’intérieur des remparts pour demander à Dieu de mettre fin à une épidémie de peste noire qui a ravagé le pays Toy vers 1650. En 1865, une nouvelle porte a été ouverte pour faciliter l’entrée. Plus récemment une nouvelle tribune a été construite