Hotellet på højen ved borgen var i knap tre hundrede år et kloster for barfodede augustinermunke, og før det lå Taviras synagoge her. Munkene fik den forladte judiaria i 1542 og gjorde synagogen til kirke; selve klosteret kom først i gang i 1568-69. Facaden med de to tårne er fra 1700-tallet og byens største barokværk. Fra 1839 var bygningen kaserne, og i 2006 åbnede den som Algarves første historiske pousada. Under ombygningen fandt kommunens arkæologer et maurisk boligkvarter fra omkring år 1200 og tre urnegrave fra jernalderen. En del af kvarteret er udstillet ved baren, så man kan se, hvad munkene byggede ovenpå.
I 1400-tallet lå Taviras synagoge og jødiske kvarter her inden for murene. I 1497 befalede D. Manuel synagogerne omdannet, og kvarteret stod tomt, til de barfodede augustinere fik det i 1542. Fr. Pedro de Vila Viçosa slog sig ned ved en brønd, der stadig findes inden for klosterets mur, og "da esnoga fez igreja": af synagogen gjorde han kirke. Selve klosteret kom først i gang i 1568-69, fordi man ikke kunne enes om stedet. D. Sebastião gav 200 cruzados i 1573, og i 1598 var klosteret ifølge biskoppen stadig "se vai fazendo", ved at blive til.
Klosterets mest kendte navn hører til før byggeriet. Fr. Valentim da Luz kom til Tavira i 1558 og blev prior i 1560. I maj 1562 blev han brændt ved et auto de fé i Lissabon; en senere fremstilling siger, at dommen lød på luthersk kætteri. Da var der endnu ikke lagt en sten til det kloster, man står foran.
Kirken er ét skib med kor i estilo chão, den nøgne stil, en af de første i Algarve. Korsgangen er kvadratisk renæssance med rundbuer på toskanske søjler. Midt i 1700-tallet var det i forfald, og munkene byggede om i etaper: 1749 korsgangen, der fik hvælvet stueetage og ny monumental trappe; 1758-78 nyt dormitorium og portaria. Dormitoriet er den facade, man ser i dag, to tårne om et lavere midterparti og store vinduer med huggede indfatninger. Tegningen kom fra Lissabon, og arbejdet knyttes til bygmestrene Diogo Tavares de Ataíde og Bento Correa.
Ordenerne blev ophævet i 1834. I 1837 eller 1839 rykkede Batalhão de Caçadores n.º 5 ind, bygningen hed fra da af Quartel da Graça, og kirken blev stald. Fra 1904 var klosteret depot og kirken garage. Kommunen købte bygningen i 1990'erne og afgav driften til ENATUR i 50 år. Byens arkæologer Jaquelina Covaneiro og Sandra Cavaco gravede her 2002-06: omkring 35.000 skår, et almohadisk boligkvarter fra omkring år 1200 og tre urnegrave fra 600-tallet f.Kr. Pousada'en åbnede 24. juni 2006 med 36 værelser, nogle i de gamle munkeceller.
Bairro Almóada ligger ved hotellets bar og kan ses gratis efter aftale; udstillingen viser dele af to huse og importeret keramik fra 1300- til 1500-tallet. Kig i korsgangen efter stueetagens 1500-talspræg, som ombygningen i 1749 lod stå, og efter porten til hospedaria'en med ordenens våben i tympanon, Diogo Tavares' kendemærke.
Munkene valgte ikke stedet. De fik det. Judiaria'en inden for murene stod tom efter 1497, og en forladt synagoge var en kirke, man ikke behøvede bygge. Ordenen var ung i Portugal efter reformen i 1535 og voksede, og man byggede, hvor der var plads: på højen ved borgen, side om side med Santa Maria do Castelo og Santiago, med bymuren som klosterets egen mur. At brødrene var uenige om stedet i over tyve år, før de gravede ud, viser, at valget ikke var givet.
Da munkene byggede, planerede de det, der lå før: det almohadiske kvarter og judiaria'en blev fyldt op og jævnet. Derfor ligger stedets ældste lag under gulvet og ikke i murene. Over jorden ser man tre perioder: 1500-tallets kirke og korsgang, 1700-tallets facade og trappe, og 2000-tallets hotel. Ved baren ser man det, munkene dækkede til. Det er en pæn ironi, at klosteret blev bevaret som kaserne, og at dets bedste fund blev gjort, fordi det skulle være hotel.