Peut-être le plus connu des châteaux au nord du Luberon, le château de Lacoste est situé sommet du village. On situe son origine au XIème siècle. Comme beaucoup des châteaux des environs, il est installé sur une hauteur.
Si sa renommée est liée au plus célèbre des polissons, le divin marquis, ou marquis de Sade, sa famille, les de Sade, n’en deviennent propriétaires qu'en 1716. En effet, il restera durant de très longues années la propriété de la famille des Simiane, une des principales familles nobiliaires sur le secteur du nord Luberon avec les d’Agoult. On attribue au divin marquis trois principaux séjours : tout d’abord de 1769 à 1772, entre les scandales d'Arcueil et de Marseille. Puis 5 ans plus tard, avant son incarcération au donjon de Vincennes. Enfin, après son évasion en 1778, du 16 juillet au 7 septembre.
Le château est décrit dans au moins deux de ses œuvres, « Les cent vingt journées de Sodome » et « La Marquise de Ganges ». Dans ces deux œuvres, le Divin marquis lui attribue le nom de « château de Silling ».
En 2001, c’est le couturier Pierre Cardin qui le rachète. Pierre Cardin commence alors la mise en rénovation de la tour principale de château, ainsi que de ces abords.
Le château de Lacoste dans le Luberon est à ne pas confondre avec le Château de Lacoste à Salviac dans le Lot ou encore le Château de Lacoste au cœur du Périgord noir et dans la vallée de la Dordogne (château du XVIII° avec un superbe jardin de roses et une ancienne chapelle)