Un premier ensemble de la fin du XIe siècle peut-être, se trouvait à Frache (voir dans accès le plan du village), avec certainement une tour avec fossé, des puits, aujourd'hui disparu.
Une co-seigneurie au XIIIe siècle avec la famille Barras, l'évêque de Riez à partir de 1244, le comte de Provence au XVe siècle puis la famille Vintimille.
En 1481, Robin Barthélémy d'Aix s'anoblit en achetant la part de l'évêque et du comte de Provence. Il dut bâtir contre le Courtil (voir dans accès le plan du village) une résidence mise à jour en 2001.
Par le mariage de Lucrèce de Barthélémy avec François-Anne de Forbin, noble d'Aix, et l'achat de la part de Vintimille, la seigneurie échoit en 1642 à André-Anne de Forbin qui fait construire une grosse bastide, le château, sur une terrasse aménagée au pied de l'enceinte médiévale. Sur plan carré, à trois niveau, couvert par un toit à quatre pans, décoré de gypseries, il s'emboitait par une tribune dans la chapelle déjà construite, si bien que le seigneur pouvait suivre la messe sans quitter ses appartements et être mêlé aux manants.
On pouvait encore voir les ruines du château dans les années 1950.

Le site : à mi-pente sur un mamelon dominant la vallée du Verdon.
Les matériaux : Galets sortis du poudingue en place et argile, pierres de taille des carrières de la Louvière, à l'entrée des petites gorges.
Les constructions : maisons sur voûtes bien appareillées, groupées en bande concentriques, chaque rangée dépassant d'un étage la plus basse ; calades en escaliers permettant d'accéder aux différents étages du village (voir dans accès, le plan du village au niveau de Garamboi).
Les fortifications : il ne reste qu'une porte, le Portalet. Le Castrum, village fortifié dut subir les fléaux du temps : passage de bandes armées, peste...
Deux faubourgs : Garamboi à l'ouest et Barri au sud, protégé vers la vallée par une fortification dont il reste une ruine (en bas du chemin des grottes).