En marzo de 1551 se decidió fortificar las defensas de Menorca, ya que eran muy inadecuadas. Para esto, se le encargó al ingeniero italiano conde Hugo de Cessane diseñar un castillo para defender la villa y el puerto de Mahón. En 1552 se inició la construcción del Castillo de San Felipe, y en 1556 se mandó poner la Bandera como signo de que ya se consideraba un puesto militar en condiciones de defensa.
Los ingleses lograron conquistar la isla en 1708 pero no fue hasta 1714 que estuvo bajo su soberanía. Reforzaron el castillo de San Felipe, basándose siempre en la superioridad naval de la escuadra. Por eso cuando faltó la defensa naval, Menorca no pudo resistir el ataque, ya que la guarnición de la isla requería de 6.000 a 10.000 hombres, y la guarnición inglesa sólo contaba con 2.000 a 3.000. Tras ganar la batalla naval de Menorca en mayo de 1756, a finales de junio los franceses, bajo el mando del mariscal duque de Richelieu, asaltaron el Castillo, y Menorca fue conquistada por Francia.
En 1763 se firmó el Tratado de París, que daba fin a la guerra de los Siete Años entre Francia e Inglaterra, y así Menorca fue devuelta a los británicos. En 1779, se inició la guerra entre Inglaterra y España. Los españoles atacaron Menorca y el Castillo y al conquistarla lo demolieron dejando sólo las torres y baterías precisas para responder a posibles ataques. En 1798 Menorca fue nuevamente conquistada por los ingleses, que reconstruyeron el castillo de San Felipe, pero en 1802 Menorca retornó definitivamente a España, después de haberse firmado la paz de Amiens, y los ingleses abandonaron la Isla dejando el Castillo a medio reconstruir, que se volvió a demoler por orden de Carlos IV en 1805, dejando únicamente las baterías necesarias para la defensa del puerto.
En el vídeo parece el coronel Francisco Fornals (D.E.P.), exdirector del Museo Militar de Menorca y una persona que conocía perfectamente la historia del Castillo de San Felipe.