El castillo de Swansea del fue fundado por el Henry de Beaumont en el 1106 como la cabeza de la señoría de Gower.

El castillo original parece haber sido un recinto secundario-rectangular/oval que pasa por alto el río Tawe en el este, rodeado en el norte, el oeste y los lados sur por un bailey externo secundario-rectangular más grande. El bailey interno contuvo probablemente un motte pero la otra visión es que era un trabajo del anillo. El nuevo castillo fue atacado por el Galés en el 1116 pero el castillo interno sostenido. Después de otros ataques fracasados el castillo cayó en el 1217 pero fue restaurado al inglés en el 1220 como parte del establecimiento entre el Llywelyn ap Iorwerth y el Henry III de Inglaterra . Inmediatamente después de esto el castillo interno fue emparedado probablemente en piedra con por lo menos una torre. Más adelante en el siglo XIII emparedaron al bailey externo grande también. Los únicos restos visibles son dos lados de un " rectangular; nuevo castle" construido en la esquina suroriental del bailey externo en el último décimotercero/temprano del siglo XIV . La cara del sur (que termina en una torre alta de Garderobe ) se capsula con una serie elegante de arcadas en la pared-cabeza, que son similares a las estructuras en el obispo de los palacios de de David del santo en el Lamphey y del St David. Para entonces el castillo había perdido su importancia militar. No se sabe si correspondió a los aliados Owain Glyndŵr temprano en el siglo XV . En las piezas de los décimo octavos y diecinueveavo siglos del castillo fueron utilizados vario como un mercado, un ayuntamiento, un pasillo del taladro y prisión. La parte del interior del nuevo castillo fue demolida temprano en el vigésimo siglo en la construcción de una oficina de periódico. Los restos ahora se han consolidado y se han abierto para ver de la calle.