Aunque en la actualidad, hablar del Hospital de Mujeres en hablar de la sede del Obispado, lo cierto es que anteriormente a la construcción del magnifico edificio actual, existió otro Hospital de Mujeres situado en lo que hoy es el Zara de Columela con Feduchi.
Hasta 1598 la ciudad de Cádiz solo contaba con el hospital de la Misericordia, situado en la actual plaza de San Juan de Dios. En el cual se atendía a todos los enfermos y heridos de la ciudad y de las naos que partían o arribaban al puerto de Cádiz, estando asistido por hermanos de San Juan de Dios. Contaba con 20 camas, de las cuales dos eran para mujeres, que resultaban insuficientes para una población que rondaba las 10.000 vecinos, aumentada considerablemente por la población flotante que se encontraba en Cádiz esperando su paso a las Indias.
En 1634 se inicia la construcción del primer y antiguo hospital de mujeres. Según se cita en El Emporio del Orbe (Jerónimo de la Concepción), la beata Antonia de la Cruz recogía y atendía a las enfermas en una casa de El Pópulo. Hasta que el 28 de abril de 1634, el vizcaíno Diego de Aguirre, otorgase testamento a favor del hospital de mujeres. Inicialmente se compró la capilla de los vizcaínos en la iglesia, aún en construcción, de San Agustín. Dos de los albaceas del testamento de Diego de Aguirre (Manuel de Iriberri y Antonio de la Yust) destinaron una serie de limosnas para remediar a las mujeres enfermas, comprando así mismo, casas en la calle de la Carnicería del Rey (actualmente Columela, esquina Feduchy), donde establecieron un modesto hospital exclusivo para mujeres de ellas. Los gaditanos secundaron con sus limosnas la iniciativa de los vascos y, después de realizar las obras necesarias, en el año 1657, siendo obispo Don Fernando de Quesada, se procedió a la bendición de la Iglesia y Hospital con el título y advocación de Ntra. Sra. del Carmen, y que se mantendría en uso hasta que se hizo insuficiente para la cantidad de pobres enfermas que tenía que atender Cádiz cuya población había alcanzado la cifra de 70.000 habitantes.
El obispo de Cadiz, Lorenzo Armengual y de la Mota, fundó mayorazgo anejo al título de Marqués de Campo Alegre, que ostentaba, realizando diferentes obras pías dentro y fuera de la diócesis. Entre ellas, la mas importante, sería la compra de un solar para la construcción del nuevo Hospital de Mujeres Construido bajo la advocación de Nuestra Señora del Carmen, el Hospital es obra de Pedro Luis Gutiérrez de San Martín maestro sevillano, (1705-1792). Enfermo, dejó el encargo a su hermana Jacinta, Marquesa de Campo Alegre, que en 1733 pagaba 12.000 pesos para adquirir 1.830 varas cuadradas frente a la calle de la Cuna, que eran propiedad de las Monjas de Santa María. El canónigo Vera dirigió el 18 de julio de 1736 un memorial al Ayuntamiento solicitando permiso para dar principio a la fábrica, que comenzó el 10 de septiembre siguiente, pero no llegó a inaugurarse hasta trece años después. Para su obra se acudió a la ayuda del pueblo de Cádiz, el cabildo de la ciudad y hasta la Corona. Finalmente, D. Bruno Verdugo, Marqués de Campo Alegre y sobrino del Obispo Armengual, junto el canónigo Pavía suplieron lo necesario para la inauguración del nuevo Hospital. El gasto total de la obra, ascendió a la cantidad de 1.034.977 reales.