Au XIème siècle, le Château de Cabrières d'Avignon est construit par la famille des Adhemar (Vicomte de Cavaillon, premiers Comtes héréditaires d'Orange). Puis au XIVe siècle, c'est Henri de Chiabeau qui devient propriétaire du chateau. Sa fille, Laure, pourrait être la Laure de Pétrarque.
En 1490, Cabrières revient à Giraud d'Ancézune, Baron de Caderousse. Pour exploiter ses terres, il fait venir des familles Vaudoise du Piémont.
Lors des massacres de 1545, il sert de refuge. Sous les ordres du Seigneur d'Oppède et malgré sa capitulation, la population vaudoise est massacrée. Le village est rasé.
En 1720, un mur est construit pour protéger le comtat Venaissin de l'épidémie de peste qui vient de Marseille et se répand en Provence. On l'appelera ensuite le mur de la peste.
1767, Cabrières passe à la seigneurie des Grammont-Caderousse jusqu'en 1807.
Le château est une résidence privée.