Er gwaethaf y gwaith o atgyfnerthu'r castell, gwelodd Llantrisant gyfres o wrthryfeloedd gwaedlyd. Gwrthryfel Llywelyn Bren ym 1316 oedd y pwysicaf, gan iddo ddinistrio'r arglwyddiaeth gyfan, gan gynnwys Llantrisant, mewn dim ond naw wythnos. Fodd bynnag, defnyddiwyd y castell am o leiaf ddeng mlynedd arall, a chafodd ei ddefnyddio fel carchar dros nos i'r Brenin Edward II, a gipiwyd fis Tachwedd 1326, cyn cael ei ddienyddio mewn ffordd erchyll yng Nghastell Berkeley. Er bod cyfeiriad byr at ymladd yn y castell wedyn, prin iawn yw'r sôn amdano ar ôl 1404. Does dim sicrwydd a gafodd y castell ei chwalu gan ddynion Owain Glyndŵr, neu ei adael yn segur yn dilyn cyfnod o sefydlogrwydd.