Alexandre de Galliffet avait acquis le domaine en 1637, de la famille d'Albertas qui elle-même le tenait, depuis la fin du siècle précédent, des Jarente (1286 fin du XVIIe siècle).
Il était alors président au Parlement d'Aix, institution majeure en Provence, à la fois administrative et judiciaire, où siégeaient plusieurs membres de sa famille. Cette position sociale prépondérante des Galliffet explique l'ampleur de la bâtisse, conçue pour recevoir. Ainsi, un théâtre était aménagé dans l'aile est du château et une chapelle occupait l'aile ouest.
Pendant deux siècles et demi, le nom des Galliffet sera intimement lié à l'histoire du Tholonet et connaîtra une véritable notoriété.
L'histoire de leur immense fortune remonte à celle de Joseph de Galliffet, dit ìl'Inflexibleî, qui était le petit-fils d'Alexandre. Après avoir servi dans l'armée, puis dans la marine, Joseph de Galliffet va conquérir à Saint-Domingue, à la fin du XVIIe siècle, des domaines si vastes et si riches que leur exploitation lui permettra d'acquérir en France, et principalement en Provence et à Paris, des biens considérables. A la veille de la Révolution, les Galliffet comptaient parmi les familles les plus riches de Provence.

Le conflit entre Gabriel-Honoré de Mirabeau et Louis-François de Galliffet

Suivant l'exemple de son père Joseph,  Louis-François de Galliffet débute par une carrière militaire, comme capitaine au régiment des Dauphins Dragons et acquiert en 1773 une cornette dans la seconde compagnie des Mousquetaires du Roi. A la suppression de ce corps, en 1775, il est réformé avec pension.
A 28 ans, alors qu'il est veuf depuis peu de temps, il rencontre la jeune Émilie de Marignane, comtesse de Mirabeau, délaissée par son époux le marquis de Mirabeau. Passionnée de chant et de comédie, elle est à la fois l'imprésario et la diva du théâtre du Tholonet. Cette situation est à l'origine d'un long conflit, qui débute dès le retour de son mari, le comte de Mirabeau, dont les frasques alimentent la chronique de l'époque.

Les frasques du comte de Mirabeau

Après une jeunesse tumultueuse, Gabriel-Honoré-Victor de Riquetti, comte de Mirabeau (1749-1791) épouse à Aix, le 23 juin 1772, Émilie de Covet, fille du marquis de Marignane. Elle aime le luxe et il contracte rapidement des dettes pour maintenir le train de vie de sa jeune épouse.
Son comportement amena son père à le punir à plusieurs reprises. Il le fait enfermer d'abord à Manosque, ensuite au château d'If, puis au fort de Joux, près de Pontarlier.
Dans cette ville, il s'éprend de Sophie, la jeune épouse du vieux marquis de Monnier. Il l'enlève et s'enfuit avec elle à Amsterdam. Bientôt extradé, son père le fait enfermer dans le donjon de Vincennes pendant 40 mois.
Un arrangement intervient en 1782, Gabriel-Honoré se réfugie à Neufchâtel, en Suisse, avant d'accepter de reprendre la vie conjugale, principalement pour toucher les bénéfices de son contrat de mariage. Sophie est enfermée dans un couvent.
Cependant, Émilie de Covet est toujours la maîtresse de Galliffet, et règne en maître sur le théâtre du Tholonet.
En 1783, Mirabeau s'installe à Aix, chez son oncle le Bailli. Émilie refuse la conciliation et introduit une demande en séparation.
Elle espère obtenir l'annulation de son mariage pour se faire épouser par Louis-François de Galliffet. Ce procès en séparation a été cité comme l'un des plus remarquables du XVIIIe siècle.
L'opinion prend parti pour le marquis, qu'elle considère comme une victime calomniée et que l'on cherchait à déshonorer. Un jour, au Parlement, il a parlé durant cinq heures sans arrêt, ridiculisant les Marignane, le célèbre Pascalis, avocat de la partie adverse, et même le Parlement. A la suite de ces offenses, les juges de la cour d'appel décident de donner tort à l'impudent, déclarant ainsi la séparation de corps. Émilie, libre, retourne provisoirement chez son père.

La période révolutionnaire

À la Révolution, Louis-François de Galliffet émigre avec sa famille en Italie. Biens et propriétés sont confisqués. Le château est vendu et acquis le 19 juillet 1796 par la femme Rollin, épouse Thiébaud.
En 1788, il se remarie avec Marie-Joséphine-Laure de Lestang-Parade. De cette union naît, en 1790, à Aix, Alexandre-Justin-Marie.
En 1802, Louis-François rentre en France, se réinstalle au Tholonet en 1804, après restitution de ses biens. Il est nommé maire de cette commune  en 1808, et le restera jusqu'en 1830.

Alexandre-Justin-Marie, marquis de Galliffet (1790-1854)

Fils unique de Louis-François, il embrasse également une carrière militaire. Il démissionne en 1830 avec l'arrivée de la monarchie de Juillet.
Il se retire par la suite au Tholonet et va transformer le domaine en améliorant l'irrigation et en reprenant l'exploitation des carrières de marbre. Il meurt en 1854 et le domaine revient à son fils, le futur général Gaston-Alexandre-Augustin de Galliffet (1830-1904).
Il est à l'origine du second épisode juridique célèbre de la famille. Un conflit qui opposa la famille de Galliffet à François Zola, père du célèbre écrivain, Emile Zola.
L'intérêt présenté par cette affaire est son objet même : l'alimentation en eau d'Aix et de son terroir, puisque François Zola envisageait la construction successive de quatre barrages réservoirs, qui détourneraient l'eau destinée au château. Cet aspect historique sera repris lors de la présentation du seul barrage réalisé par cet ingénieur (voir chapitre sur le barrage Zola).

La fin du temps des Galliffet

Le décès d'Alexandre-Justin de Galliffet marque la fin de toute une époque dans la mémoire du Tholonet. En effet, son fils Gaston-Alexandre-Augustin de Galliffet préfère la vie parisienne, et le château est peu à peu délaissé. A partir de 1860, il remplit la fonction d'aide de camp de Napoléon III. Il participe aux campagnes d'Italie, de Crimée et du Mexique. Distingué par Gambetta, il est nommé gouverneur de Paris en 1880, et enfin ministre de la Guerre en 1899, dans le cabinet Waldeck-Rousseau.
Ironie du destin, c'est lui qui décide la révision du procès de Dreyfus dont la réhabilitation avait été soutenue par Émile Zola. Le dernier des Galliffet a épousé la fille de Laffitte, homme politique libéral, ce qui explique probablement la participation de cet aristocrate à un gouvernement républicain de gauche.
Il déclarait souvent : « Je ne suis pas d'ancien régime, je suis de 89. »
Pour lui, l'argent était un détail sans importance. Il dépensait sans compter pour tenir son train de vie et sa réputation.
Il a dû céder son domaine du Tholonet à sa soeur Marie-Louise-Marguerite qui ne l'a jamais habité.
En 1885, le château était dans un tel état d'abandon qu'il faisait oublier la splendeur des lieux durant les deux siècles écoulés. En 1887, le domaine est vendu à un industriel marseillais, Adrien Pichard, qui le restaure de façon plus ou moins heureuse, lui donnant la configuration actuelle.
En 1913, le château est acheté par la famille Bovis.
En 1959, il entre dans le patrimoine de la Société du Canal de Provence et d'Aménagement de la région provençale. Cette acquisition peut être considérée comme une victoire post mortem de François Zola.