Le corps principal du château est édifié en 1776 par Noyel de Sermezy, puis adjonction de deux pavillons à arcades et d'un parc à l'anglaise. Importants travaux intérieurs de 1927 à 1929 pour l'installation du confort moderne par l'architecte Augustin Chaumel.
La décoration intérieur est également refaite, mêlan différents styles (Louis 15, Restauration, Art Déco, néo-gothique).
Le parc à l'anglaise est transformé en jardin à la française. Le château est un exemple de l'architecture des demeures de plaisances locales.
Le château abrite aujourd'hui une Maison familiale Rurale.
Le kiosque avec ses colonnes en pierre (oeuvre d'un compagnon du devoir) abrite l'ancien alambic de la distillerie communale.
La tour de la belle-mère du haut de ses 35 mètres de briques rouges qui fut construite entre 1893 et 1896 à la demande de Mme BERUJON par un maçon de Charentay. Elle devait permettre à la propriétaire de l'époque de surveiller son gendre réputé volage.
Le château d'Arginy est un ancien château fort, fondé vers le milieu du XIVe siècle, reconstruit au XVe siècle et remanié au XVIe siècle.Il fait l'objet d'une inscription partielle au titre des monuments historiques par arrêté du 1 er juillet 1974.
Al'époque gauloise, le site était le centre d'une forêt où l'on exploitait une mine de sel. Lors de la conquête romaine, un lieutenant de César, nommé Arginus, fit bâtir un oppidum en ce lieu, qui par la suite, prit son nom. Ce premier édifice de briques rouges allait durer neuf siècles et c'est sur ses ruines que fut bâti vers le milieu du XIVe siècle le château médiéval par un vassal des sires de Beaujeu.
Le château proprement dit était composé de deux enceintes concentriques: l'enceinte extérieure quadrangulaire, basse, est flanquée de quatre tourelles circulaires aux angles adaptée pour le tir aux armes à feu et est contemporaine de celle de la basse-cour. L'enceinte intérieure quadrangulaire, formée de logis disposés autour d'une petite cour, et dont il ne subsiste qu'une aile. Dans le dernier angle, s'élève la belle tour maîtresse, dite des huit Béatitudes, bâtie en briques au XIIIe siècle sur plan cylindrique à l'extérieur octogonal à l'intérieur. La basse-cour rectangulaire a conservé deux tours d'angles rondes et on y accède par une tour-porte qui commande un des deux pont-levis.
Le monument aux morts érigé en Octobre 1921 porte aujourd'hui le nom de 42 Charentois morts durant la guerre de 1914-1918, et 5 victimes de la guerre de 1939.
La chapelle Saint Pierre construite vers le Xe ou XIe siècle, orientée d'est en ouest offre un magnifique panorama sur la vallée de la Saône.
L'église Saint Martin fondée par Béraud, sire de Beaujeu qui vers 1052 de retour de pélerinage à Rome avait promis d'élever six églises.
Elle se composait à l'origine, du coeur pur roman et d'une nef centrale. Le clocher fût construit plus tard, vers 1535.Puis en 1776, l'église fût agrandie par l'édification de la nef principale.
Le XIX ème siècle est marqué par de nombreuses améliorations ( construction de la nef latérale sud, construction de la porte principale, restauration du choeur,installation de l'horloge sur le clocher,...)
La dernière restauration date de l'année 2000.
