El castillo-fortaleza de la villa de Carcelén puede que fuese construido en el siglo XV, éste ha sufrido numerosas reformas hasta llegar al estado actual. Está formado por un gran torreón de planta cuadrada  y torreones de esquina; anejo a él se encuentra una construcción rectangular de dos plantas. Actualmente aloja una Biblioteca .

En la primera planta, la biblioteca, se ha convertido para el pueblo en un medio educativo y cultural, a la vez de ser un centro de ocio, recreativo y de consulta. Poco a poco se han ido instalando mas servicios en la Biblioteca. De gran actualidad para el usuario adulto e infantil , la biblioteca tiene una única sala, dónde quedan incorporados todos los servicios: consultas, novelas, biografías, materias, teatro, biografías, sección infantil, juvenil y adulto, centro de internet , videoteca , fonoteca , recursos electrónicos , hemeroteca , sección local.