Podríem dir que Capmany té l’origen en el 3300-2700 aC pels diversos monuments megalítics que hi ha al terme. Més tard, estava dividit en tres viles: Viladevall; Vilanova, que és on hi havia el Castell o Fort, i Vilademont. Aleshores, decidiren ajuntar les tres viles i posar-hi un nom comú: Capite Magno. El primer baró i senyor de Capmany que cita el cronista Pujades és Francesc Pons de Vilanova, l’any 1092. Actualment del castell encara es conserven en perfecte estat dues torres de defensa i dues de malmeses de la zona del recinte emmurallat.