Le portail à mâchicoulis, du XIVème siècle, en constitue l'accès principal (pour les piétons). Les remparts, dont on peut admirer un bel échantillon entre le portail et la tour carrée, avaient 800 mètres de pourtour, un mètre d'épaisseur et dix mètres de haut.

Au point le plus élevé du village, près de l'ancien Hôtel-Dieu et contre l'église désaffectée, à l'emplacement d'un monticule, existait déjà au début du XIIème siècle un château fort appartenant aux Simiane, seigneur de Banon. Ce château fut remanié au XIIIème siècle et remplacé au XVIIIème siècle par un château assez modeste qui sera incendié à la Révolution, obligeant Alexandre de Tournon-Simiane, son dernier propriétaire, à s'enfuir. On raconte qu'il partit par le sentier de la source des Brieux et qu'en se retournant une dernière fois avant de perdre Banon de vue, il ne vit qu'un amas de bois et de pierres. Remaniée à maintes reprises, l'église attenante aurait été partiellement reconstruite sur les restes de la chapelle du château.

Selon un plan de Banon érigé en 1782, l'ancien Hôtel-Dieu était alors constitué de deux blocs de trois et quatre maisons, dont l'hôpital et le four banal du village. Il fut créé en 1830 sous le nom d'"Hôtel-Dieu de l'Immaculée Conception", sa partie sud réservée aux religieuses étant appelée "Maison des Soeurs". Il fonctionna un peu moins de cent ans et fut ensuite remplacé en bas du village par un nouvel hôpital/hospice construit grâce à la générosité de Dieudonné Collomp dont il porte le nom. L'hôtel-Dieu fut utilisé pendant la dernière guerre pour héberger des réfugiés chassés de leurs maisons par la guerre 1939-1945.