La première mention faite du château de Latour apparaît dans une charte de 1066. Cependant, la découverte de blocs sculptés de l’époque gallo-romaine dans ses fondations permet de faire remonter l’occupation du site bien plus tôt encore. La famille de La Tour possède le château jusque dans la moitié du 15e siècle, époque à laquelle les ruines de l’édifice (détruit lors d’un siège en 1433) deviennent, par mariage, propriété d’Henri Bayer de Boppard. C’est un autre mariage qui fait passer La Tour entre les mains de la famille de Créhanges qui, le 7 octobre 1659, vend la terre et la seigneurie à Mathieu Baillet.
Le plus illustre des seigneurs de Latour est sans nul doute Maximilien-Antoine-Charles-Joseph, Comte de Baillet de Latour, feld-maréchal des armées impériales autrichiennes et propriétaire du régiment des dragons de Latour. Il est le dernier seigneur du lieu, puisque le château est incendié par les révolutionnaires français le 17 avril 1794. Depuis 1962, le site renaît. Transformées en dancing et en zone de loisir dans les années soixante, les ruines du château en partie reconstruites abritent aujourd’hui un hôtel et un restaurant.