Après avoir appartenu aux Cossonay, aux Savoie, aux Glérens puis aux Dortans, la seigneurie de L'Isle échut à Esaïe de Chandieu, originaire du Dauphiné, en 1614, puis à un de ses descendants, Charles de Chandieu. Ce dernier fait une brillante carrière dans l'armée de Louis XIV. Il est nommé successivement brigadier, maréchal de camp puis lieutenant-général. Après son mariage avec Catherine de Gaudicher, il décide de rebâtir l'ancienne demeure seigneuriale de L'Isle, située au bord de la Venoge. Il s'adresse d'abord à un architecte neuchâtelois, Antoine Favre, qui élabore plusieurs projets de reconstruction sur le même emplacement. Ceux-ci ne contentent pas les propriétaires qui font finalement appel à l'architecte du roi Louis XIV, Jules Hardouin-Mansart, qui livre ses plans en 1694. Les travaux de construction seront exécutés sous la direction d'Antoine Favre, avec l'aide d'artisans neuchâtelois et terminés en 1696. Suivent les aménagements extérieurs, avec la création d'un jardin à la française formé d'une terrasse, de parterres agrémentés de bassins et de deux allées d'arbres. Au bas de la propriété, on utilise les eaux de la Venoge pour établir un vaste plan d'eau avec un jet d'eau placé dans l'axe de la demeure.
Le château reste aux mains de la famille de Chandieu jusqu'à la fin du XVIIIe siècle. En 1810 il est vendu à François-Louis Roulet de Neuchâtel, puis passe, par mariage, aux Cornaz de Montet-Cudrefin.

Le château de L'Isle est le premier exemple régional de classicisme à la française, style qui s'épanouit en France sous le règne de Louis XIV, notamment dans les réalisations de Jules Hardouin-Mansart. Ce courant architectural, tout d'abord confiné autour de Paris et Versailles, gagne l'ensemble de l'Europe à partir des années 1700 et connaît un succès considérable tout au long du XVIIIe siècle. En Suisse romande, le château de L'Isle constitue un jalon essentiel dans la diffusion de ce courant, qui touche tant l'aspect extérieur des bâtiments, que leur plan intérieur.