El castillo de Tavira es una ruina con un jardín dentro. El núcleo es moro, de los siglos XI a XIII, construido en tierra apisonada, pero la mayor parte de la fábrica visible es posterior: la reconstrucción del rey Dinis hacia 1292 y las restauraciones del siglo XX. La torre poligonal es el rasgo más insólito del castillo. Las fuerzas cristianas tomaron la ciudad hacia 1242, el terremoto de 1755 dañó gravemente el castillo y, en la primera mitad del siglo XIX, el patio del castillo fue el cementerio de la ciudad. Desde 1938 es jardín. Desde las murallas se ve toda la ciudad, el río, la laguna y las salinas, y esa vista es toda la explicación de que las murallas estén aquí.
Tavira solo llegó a ser una verdadera ciudad bajo los moros. Las excavaciones en el casco antiguo no han encontrado nada anterior al siglo XI; en la ciudad se ha hallado un único tramo de muralla fenicia, pero después hay catorce siglos de silencio. Las primeras murallas las levantaron con toda probabilidad los almorávides a finales del siglo XI o en el XII, y los almohades reconstruyeron en taipa, tierra apisonada prensada entre encofrados. La torre albarrana poligonal se les atribuye; desde entonces se ha rehecho muchas veces. A partir de 1144 Tavira se mantuvo independiente bajo sucesivos señores locales, Ibn Munīb y después Alī al-Wahībī, resistió un asedio almohade en 1157 y no cayó hasta 1167-68. La ciudad intramuros ocupaba poco más de cuatro hectáreas. Abajo, junto a la Praça da República, se encontró una puerta con arco de herradura; los restos están en la sala museística islámica de la plaza. La forma es árabe, como el nombre de la ciudad.
Entre 1239 y 1242 los cristianos conquistaron la ciudad; la crónica se lo atribuye a Dom Paio Peres Correia, gran maestre de la Orden de Santiago. La leyenda dice que fue una venganza: siete caballeros de la orden habían muerto a manos de los moros durante una cacería en Antas, en plena tregua. El rey Sancho II entregó Tavira a la orden en 1244, y la corona recuperó la ciudad en 1272. En 1266 Tavira fue la primera villa del Algarve en recibir su fuero, de Afonso III. El rey Dinis hizo reconstruir la fortaleza en 1292 con torre del homenaje y una muralla con siete puertas. La Porta de D. Manuel es gótica y más antigua que su nombre; las armas de Manuel I se añadieron hacia 1500, y en 1520 él elevó Tavira a ciudad y la llamó el principal puerto comercial del Algarve.
A partir del siglo XV el castillo perdió su importancia militar, aunque recibió obras abaluartadas después de 1640. El terremoto de 1755 lo dañó gravemente, y grandes partes de la muralla de la ciudad se derribaron en los siglos siguientes. En la primera mitad del siglo XIX el patio del castillo fue el cementerio de Tavira, con más actividad durante la epidemia de cólera de 1832. En 1938 el ayuntamiento compró el terreno y creó el Jardim do Castelo, y al año siguiente el castillo fue declarado monumento protegido. Quedan varias torres cuadradas, la torre poligonal y largos tramos de la muralla. Abierto todos los días, en verano de 8.30 a 19.
La noche de San Juan a medianoche, dicen en Tavira, una joven mora se aparece en las ruinas. Era hija del señor moro del castillo, Aben Fabila, que la encantó cuando Dom Paio asaltó la ciudad, y ella espera a quien pueda romper el hechizo. En algunas versiones sale de un pozo; en otras, era un caballero cristiano a quien ella amaba.
Suba a las murallas temprano, antes de que el sol esté alto, para tener la mejor luz sobre la ciudad y el río. Paio Peres Correia y los siete caballeros están enterrados en la Igreja de Santa Maria do Castelo, a pocos metros de la puerta del castillo; la iglesia se alza donde estaba la mezquita, y se cree que la torre del reloj es el minarete.
La colina junto al Gilão era el lugar desde el que se podía cubrir el vado sobre el río, antes de que hubiera puente. Por eso construyeron aquí los moros, y por eso cristianos y moros lucharon por el sitio. Con la artillería el castillo perdió su importancia militar a partir del siglo XV, pero siguió siendo sede del gobernador y señal del poder real, y las murallas se repararon una y otra vez, tras las quejas en las cortes de 1475 y con nuevas obras después de 1640.
El castillo está en ruinas, pero está más restaurado de lo que parece: el Estado reconstruyó el arco de entrada y lienzos enteros de muralla en 1940, un tramo de muralla en 1969 y consolidó la torre en 1982-89. Se aseguró y se rellenó, no se construyó un castillo nuevo. Eso lo hace menos imponente de lejos, pero más honesto de cerca: se ven las capas de taipa, la sillería medieval y las reparaciones del siglo XX en el mismo muro.