Uma pequena ermida caiada no alto da colina, com uma cruz de azulejos na fachada cega e vista sobre o rio e a cidade a partir do largo ao lado. Não parece grande coisa. Mas quando os enviados da Ordem de Santiago por cá passaram em 1518, escreveram que era tão antiga que ninguém se lembrava de quem a tinha construído, e o inventário do património do Estado conta-a entre as mais antigas de Tavira. A forma que hoje se vê é do século XVIII, quando o governador do Algarve, depois do terramoto de 1755, se mudou de Lagos para Tavira, construiu o seu palácio encostado à ermida e fez dela o seu oratório privado. O palácio quase desapareceu. A ermida continua de pé.
Quando a ermida foi construída, ninguém sabe. O museu diz inícios do século XIV, e as escavações na colina não encontraram nada mais antigo, nem sequer islâmico. Quando dois enviados do Mestre da Ordem de Santiago fizeram a visitação em 1518, viram uma só casa com paredes de pedra e cal, um só altar de uma só pedra sobre quatro esteios e, atrás de umas grades, uma Santa Ana com Maria e o Menino ao colo. Escreveram que a ermida "hé tam amtigua que nom há hy memoria de quem a edificou".
Quando a Câmara Municipal requalificou o Largo de Santa Ana em 2003, os arqueólogos deram com ossadas humanas e lápides medievais. O largo era o antigo adro da ermida, e nele havia uma necrópole com estelas discoides como marcas de sepultura; o museu data os enterramentos de antes do século XVIII. Uma das estelas, de 52 por 35 centímetros, tem uma cruz de braços largos na frente e um arado no verso.
Depois do terramoto de 1 de novembro de 1755, o governador do Algarve, D. Rodrigo António de Noronha e Meneses, mudou-se de Lagos para Tavira e construiu o seu palácio na colina, com a velha ermida no extremo norte. A partir de 1756 foi a capela privada do palácio. O filho do governador foi aqui batizado em 1773, e em 1780 o rapaz que viria a ser o primeiro conde de Mesquitela. Foi nesses anos que a ermida ganhou o aspeto atual, com portal, campanário e retábulo-mor dourado. A torre tem a data de 1727, o historiador Marco Sousa Santos escreve 1722, portanto algo já tinha sido alterado antes de o governador chegar.
O cargo foi extinto em 1834, e o palácio passou para o exército juntamente com a ermida. Em 1936 a Câmara Municipal comprou-o, e pouco depois a maior parte das instalações militares foi demolida; uma ala sul com o portal principal do palácio ainda está de pé. A ermida foi classificada em 1977, reparada depois do sismo de 1969 e, em 2006, recuperada e integrada no Museu Municipal.
A ermida é usada para atividades do museu, por isso a porta nem sempre está aberta. Repare na cruz de azulejos da fachada. Se conseguir entrar, o que há a ver é o retábulo-mor e a pintura quinhentista de Nossa Senhora da Piedade, feita sob influência de Luis de Morales. O miradouro ao lado da ermida dá a melhor vista sobre o rio e a cidade. Palácio e ermida aparecem no mapa de Sande Vasconcelos, dos finais do século XVIII, no mapa de viagem no tempo da aplicação. Em finais de março florescem as olaias do largo, a acreditar em quem as viu.
O inventário do património descreve a colina como um lugar outrora ermo e fora dos limites da cidade. Uma pequena ermida dedicada a uma santa, um cemitério no adro, nenhum vizinho. Só o palácio do governador, na segunda metade do século XVIII, deu à ermida aquilo a que o inventário chama o seu primeiro enquadramento urbano. Foi construída como lugar solitário, foi durante pouco menos de 80 anos a capela privada do governador e acabou como parte de um quartel. O palácio ligou-a à cidade, e o palácio desapareceu.
A própria ermida, ainda uma só casa como em 1518, agora com capela-mor e sacristia. O resto é do século XVIII: retábulo, portal, campanário. Do palácio resta uma ala, e a necrópole está coberta debaixo do largo requalificado. O que há de mais antigo na colina é o que melhor resistiu, porque era pequeno e servia para alguma coisa, primeiro ao governador, depois ao exército, depois à Câmara Municipal. Em fevereiro de 2026 a Câmara Municipal chamou-lhe uma das ermidas mais antigas da cidade, com mais de 500 anos de história documentada. 1518 é a prova. O resto é mais antigo do que isso.