En el promontorio conocido como el Castillo se asentó la fortaleza de la que solo queda la torre de homenaje que hoy forma parte de la iglesia de San Lorenzo como torre campanario.
Del inicio de la construcción del castillo no existe documentación pero se puede indicar, con bastante fiabilidad, que debió ser entre los años 1130 y 1200, ya que esta fortificación forma parte de una serie de castillos de una línea defensa aragonesa en las que estaban incluidos los castillos de Los Fallos, Lituenigo, Litago, Trasmoz, Vera de Moncayo, Añon, Herrera, Talamante, Bulbuente, Borja, Magallón, Agón y Mallén.
De algunos de estos castillos si que se tiene documentación del inició de su construcción y datan de las fechas antes indicadas por lo que cabe deducir que fue en aquellos años cuando se construyó el de Magallón. Hay constancia documental de que en el año 1363 todavía permanecía en píe y de que las murallas del perímetro de la Villa fueron reparadas en el año 1610.
