El 29 de diciembre de 1746 se aprobó el diseño presentado por el matemático y arquitecto francés Luis Godin y los españoles José Amich y Juan Francisco Rossa. El 21 de enero de 1747 se iniciaron los trabajos con el cavado de las zanjas y el 1 de agosto del mismo año se llevó a cabo la colocación de la primera piedra. Fue una de las más grandes obras de arquitectura que realizó España, con un costo de tres millones de pesos. Para ésta se utilizaron bloques de piedra traídas de las canteras de la isla San Lorenzo y de los restos desenterrados de las antiguas murallas destruidas por las catástrofes. Estos bloques compuestos de cuarcita y arenisca fueron reforzados con «calicanto».El nombre fue elegido en honor de Felipe V de la Casa de Borbón que había fallecido por esos días. La edificación finalizó durante el mandato del virrey Manuel de Amat y Juniet en 1774.

En 1782 el virrey Manuel Guirior notó que la fortaleza era vulnerable a «golpe de mano» por sus flancos, por ello decidió construir dos pequeños fuertes, llamados «San Miguel» y «San Rafael», que se hallaban a corta distancia hacia ambos lados del recinto completando el sistema defensivo llamado «Los Castillos del Callao».