Die Burg von Tavira ist eine Ruine mit einem Garten darin. Der Kern ist maurisch, aus dem 11. bis 13. Jahrhundert, aus Stampflehm gebaut, doch das meiste sichtbare Mauerwerk ist jünger: der Umbau unter König Dinis um 1292 und die Restaurierungen des 20. Jahrhunderts. Der vieleckige Turm ist das ungewöhnlichste Merkmal der Burg. Christliche Truppen nahmen die Stadt um 1242 ein, das Erdbeben von 1755 beschädigte die Burg schwer, und in der ersten Hälfte des 19. Jahrhunderts war der Burghof der Friedhof der Stadt. Seit 1938 ist er ein Garten. Von den Mauern aus sieht man die ganze Stadt, den Fluss, die Lagune und die Salinen, und diese Aussicht ist die ganze Erklärung dafür, dass die Mauern hier stehen.
Tavira wurde erst unter den Mauren eine richtige Stadt. Die Ausgrabungen im Stadtkern haben nichts gefunden, was älter wäre als das 11. Jahrhundert; ein einzelnes phönizisches Mauerstück wurde in der Stadt gefunden, doch danach herrschen vierzehn Jahrhunderte Stille. Die ersten Mauern errichteten aller Wahrscheinlichkeit nach die Almoraviden im späten 11. oder im 12. Jahrhundert, und die Almohaden bauten in Taipa um, Stampflehm, zwischen Schalungen gepresst. Der vieleckige Albarrã-Turm wird ihnen zugeschrieben; er ist seither viele Male umgebaut worden. Ab 1144 hielt sich Tavira unter wechselnden lokalen Herren unabhängig, Ibn Munīb und später Alī al-Wahībī, widerstand 1157 einer almohadischen Belagerung und fiel erst 1167-68. Die Stadt innerhalb der Mauern bedeckte gut vier Hektar. Unten an der Praça da República fand man ein Tor mit Hufeisenbogen; die Reste stehen im islamischen Museumsraum am Platz. Die Form ist arabisch, wie der Name der Stadt.
Zwischen 1239 und 1242 eroberten die Christen die Stadt; die Chronik schreibt es Dom Paio Peres Correia zu, dem Großmeister des Santiagoordens. Die Legende sagt, es sei Rache gewesen: Sieben Ritter des Ordens waren während eines Waffenstillstands auf einer Jagd bei Antas von Mauren getötet worden. König Sancho II. gab Tavira 1244 dem Orden, und 1272 bekam die Krone die Stadt zurück. 1266 erhielt Tavira als erste Stadt der Algarve ihr Stadtrecht von Afonso III. König Dinis ließ die Festung 1292 mit Bergfried und einer Ringmauer mit sieben Toren wieder aufbauen. Die Porta de D. Manuel ist gotisch und älter als ihr Name; das Wappen Manuels I. kam um 1500 hinzu, und 1520 erhob er Tavira zur Stadt und nannte sie den wichtigsten Handelshafen der Algarve.
Ab dem 15. Jahrhundert verlor die Burg ihre militärische Bedeutung, auch wenn sie nach 1640 Bastionswerke erhielt. Das Erdbeben von 1755 beschädigte sie schwer, und große Teile der Stadtmauer wurden in den folgenden Jahrhunderten abgetragen. In der ersten Hälfte des 19. Jahrhunderts war der Burghof Taviras Friedhof, am meisten genutzt während der Choleraepidemie von 1832. 1938 kaufte die Gemeinde das Grundstück und legte den Jardim do Castelo an, und im Jahr darauf wurde die Burg unter Denkmalschutz gestellt. Erhalten sind mehrere viereckige Türme, der vieleckige Turm und lange Abschnitte der Ringmauer. Täglich geöffnet, im Sommer von 8.30 bis 19 Uhr.
In der Johannisnacht um Mitternacht, so sagt man in Tavira, zeigt sich ein maurisches Mädchen in den Ruinen. Sie war die Tochter des maurischen Burgherrn Aben Fabila, der sie verzauberte, als Dom Paio die Stadt stürmte, und sie wartet auf den, der den Zauber brechen kann. In manchen Nacherzählungen steigt sie aus einem Brunnen, in anderen war es ein christlicher Ritter, den sie liebte.
Steigen Sie früh am Tag auf die Mauern, bevor die Sonne hoch steht, dann hat man das beste Licht über Stadt und Fluss. Paio Peres Correia und die sieben Ritter liegen in der Igreja de Santa Maria do Castelo begraben, wenige Meter vom Burgtor entfernt; die Kirche steht, wo die Moschee lag, und der Uhrturm gilt als das Minarett.
Der Hügel am Gilão war der Ort, von dem aus man die Furt über den Fluss decken konnte, bevor es eine Brücke gab. Deshalb bauten die Mauren hier, und deshalb kämpften Christen und Mauren um den Platz. Mit der Artillerie verlor die Burg ab dem 15. Jahrhundert ihre militärische Bedeutung, doch sie blieb Sitz des Gouverneurs und Zeichen königlicher Macht, und die Mauern wurden wieder und wieder ausgebessert, nach Klagen auf den Cortes von 1475 und mit neuen Werken nach 1640.
Die Burg steht als Ruine, doch sie ist stärker restauriert, als sie aussieht: Der Staat baute 1940 den Eingangsbogen und ganze Mauerpartien wieder auf, 1969 einen Mauerabschnitt, und 1982-89 festigte er den Turm. Man hat gesichert und ergänzt, keine neue Burg gebaut. Das macht sie aus der Ferne weniger eindrucksvoll, aber aus der Nähe ehrlicher: Man sieht die Schichten aus Taipa, mittelalterlichen Quadern und den Reparaturen des 20. Jahrhunderts in derselben Mauer.