C’est sur un site humide et marécageux, car inondé par le Camuzol et par le Lot, que le bourg originellement adossé au coteau vient peu à peu s’installer au droit d’un gué permettant le passage d’une rive à l’autre.
Un prieuré aurait existé, mais la création demandée d’une Sauveté est refusée par l’Évêque.
C’est ensuite le temps des bastides et notre bourg devenu « castrum » autour de son château en est complètement encerclé : Laparade, Granges, Montpezat, Sainte-Livrade et Monclar.
En 1345 la ville est prise grâce à une feinte conseillée par le chevalier de Caumont au Comte de Derby qui, en remerciement lui confie la seigneurie. Elle restera dans dans cette famille jusqu’au milieu du XVIIe siècle. En 1435, elle fut reprise par les Français et ses fortifications furent démantelées.
Castelmoron devient un des foyers calvinistes de l’Agenais. Son église réformée est fondée en 1559. Épargnée pendant les guerres de religion grâce à un accord passé entre catholiques et protestants en 1609, elle voit toutefois son temple, d’abord interdit, puis livré à la démolition en 1693.
La révocation de l’Édit de Nantes (18 octobre 1685) provoque l’exode d’un certain nombre de protestants. Un castelmoronnais, Mathieu Maury rejoint l’Amérique. Ses descendants se distinguent dans la fondation des États-Unis, notamment son fils James, directeur d’une école, qui compta parmi ses élèves Thomas Jefferson, futur président des U.S.A.
En 1668, la seigneurie de Castelmoron passe des Caumont aux Belzunce. C’est dans cette famille que naît François Xavier de Belzunce-Castelmoron qui deviendra Évêque de Marseille et y fera acte de courage et de dévouement pendant la grande peste de 1720.
Éprouvé par les deux grandes inondations du Lot de 1728 et 1783, qui détruisirent en partie le Moulin de Lacoste et le Moulin Neuf, le XVIIIe siècle marqua cependant l’apogée de la navigation fluviale sur le Lot. Les gabarres castelmoronnaises transportent vin et farine vers Bordeaux où un fort courant commercial s’est établi avec l’Europe du Nord, la Louisiane et les Antilles. Nombreux sont ceux qui s’y installent. Mais à la fin du siècle, le commerce vers Saint-Domingue et la Louisiane est perdu.
La ville de Castelmoron traverse sans dommage la période révolutionnaire. Toutefois, un castelmoronnais, Jacques Bujac est guillotiné à Bordeaux, le 21 décembre 1793 pour ses accointances avec le parti girondin. Au début du Premier Empire, un autre castelmoronnais se rend célèbre par son courage et son audace.
Le 12 avril 1805, Pierre Alexandre Marauld Dupon, commandant le bateau corsaire « La Représaille » bat et met en fuite devant Santander, une goélette anglaise bien supérieure en force. Il mérite le surnom de « Corsaire Agenais ».
L’expansion économique commencée sous la monarchie de Juillet provoque dans la seconde moitié du XIXe siècle de profondes transformations qui donnent à Castelmoron une nouvelle physionomie en rupture avec son ancienne configuration moyenâgeuse.
En 1845, pour permettre à la Route Départementale 13 de traverser Castelmoron, un pont suspendu est construit sur le Lot ; il débouchait sur l’emplacement de la vieille église du XIIIe siècIe qui fut démolie.
Le vieux château racheté en 1871 par la femme de Félix Solar est profondément transformé et prend l’aspect hispano-mauresque tellement voulu et pensé par son époux décédé l’année précédente.
L’impulsion donnée par la IIIe République aux municipalités devait engendrer de nouvelles réalisations. En 1873 sont créées la Place du Foirail, agrémentée de platanes, la Place de l’Airyal, ancien cimetière protestant, la Place Bransoulié, du nom du maire qui prend alors la décision des travaux.
Enfin, en 1875, sur le site de l’ancien bac, on construit une cale de commerce avec un imposant quai en pierre. Malheureusement, le trafic fluvial est sur le déclin malgré les énormes travaux réalisés sur le Lot (chaussées nouvelles, amélioration des écluses et des chemins de halage). La concurrence du chemin de fer et le développement du réseau routier donnent un coup de grâce à la navigation commerciale sur la rivière qui disparaît définitivement en 1923.
Au XXe siècle, d’autres événements et d’autres personnages viennent enrichir la chronique historique de Castelmoron-sur-Lot.