Aunque en la actualidad, hablar del Hospital de Mujeres en hablar de la sede del Obispado, lo cierto es que anteriormente a la construcción del magnifico edificio actual, existió otro Hospital de Mujeres situado en lo que hoy es el Zara de Columela con Feduchi.
Hasta 1598 la ciudad de Cádiz solo contaba con el hospital de la Misericordia, situado en la actual plaza de San Juan de Dios. En el cual se atendía a todos los enfermos y heridos de la ciudad y de las naos que partían o arribaban al puerto de Cádiz, estando asistido por hermanos de San Juan de Dios. Contaba con 20 camas, de las cuales dos eran para mujeres, que resultaban insuficientes para una población que rondaba las 10.000 vecinos, aumentada considerablemente por la población flotante que se encontraba en Cádiz esperando su paso a las Indias.

En 1634 se inicia la construcción del primer y antiguo hospital de mujeres. Según se cita en El Emporio del Orbe (Jerónimo de la Concepción), la beata Antonia de la Cruz recogía y atendía a las enfermas en una casa de El Pópulo. Hasta que el 28 de abril de 1634, el vizcaíno Diego de Aguirre, otorgase testamento a favor del hospital de mujeres. Inicialmente se compró la capilla de los vizcaínos en la iglesia, aún en construcción, de San Agustín. Dos de los albaceas del testamento de Diego de Aguirre (Manuel de Iriberri y Antonio de la Yust) destinaron una serie de limosnas para remediar a las mujeres enfermas, comprando así mismo, casas en la calle de la Carnicería del Rey (actualmente Columela, esquina Feduchy), donde establecieron un modesto hospital exclusivo para mujeres de ellas. Los gaditanos secundaron con sus limosnas la iniciativa de los vascos y, después de realizar las obras necesarias, en el año 1657, siendo obispo Don Fernando de Quesada, se procedió a la bendición de la Iglesia y Hospital con el título y advocación de Ntra. Sra. del Carmen, y que se mantendría en uso hasta que se hizo insuficiente para la cantidad de pobres enfermas que tenía que atender Cádiz cuya población había alcanzado la cifra de 70.000 habitantes.
El obispo de Cadiz, Lorenzo Armengual y de la Mota, fundó mayorazgo anejo al título de Marqués de Campo Alegre, que ostentaba, realizando diferentes obras pías dentro y fuera de la diócesis. Entre ellas, la mas importante, sería la compra de un solar para la construcción del nuevo Hospital de Mujeres Construido bajo la advocación de Nuestra Señora del Carmen, el Hospital es obra de Pedro Luis Gutiérrez de San Martín maestro sevillano, (1705-1792). Enfermo, dejó el encargo a su hermana Jacinta, Marquesa de Campo Alegre, que en 1733 pagaba 12.000 pesos para adquirir 1.830 varas cuadradas frente a la calle de la Cuna, que eran propiedad de las Monjas de Santa María.
El canónigo Vera dirigió el 18 de julio de 1736 un memorial al Ayuntamiento solicitando permiso para dar principio a la fábrica, que comenzó el 10 de septiembre siguiente, pero no llegó a inaugurarse hasta trece años después. Para su obra se acudió a la ayuda del pueblo de Cádiz, el cabildo de la ciudad y hasta la Corona. Finalmente, D. Bruno Verdugo, Marqués de Campo Alegre y sobrino del Obispo Armengual, junto el canónigo Pavía suplieron lo necesario para la inauguración del nuevo Hospital. El gasto total de la obra, ascendió a la cantidad de 1.034.977 reales.
El 16 de octubre de 1749 se inaugura el nuevo Hospital; bajo la dirección del arquitecto Don Pedro Luis Gutiérrez de San Martín, más conocido como «Maestro Afanador». A pesar de las muchas reformas que ha sufrido, podemos descubrir un edificio que se organiza en torno a dos patios comunicados entre los que se alza una imponente escalera de estilo imperial.

Su fachada está formada por tres plantas con entreplanta y presenta una composición barroco-popular típica en la ciudad de Cádiz. En la planta baja encontramos tres puertas, que no se ajustan a ejes de simetría y que dan acceso a la Capilla y al propio Hospital; y en el entresuelo destacan las ventanas cruciformes que le dan su propia personalidad al edificio al tratarse de un elemento extraño de observar en la ciudad.
El cuerpo principal está formado por amplios vanos coronados con frontones rotos con óvalos en el centro y un largo balcón que recorre todo el espacio. Mientras que el último cuerpo se compone por pilastras jónicas y una serie de vanos rectangulares con barandillas independientes.
El acceso al Hospital se realiza a través de un zaguán enlosado en mármol blanco, con paredes crema sobre zócalo gris, pilastras jónicas de jaspe verde y un precioso artesonado de madera del mismo color, aunque muy ennegrecido por el humo de las velas de un pequeño retablo realizado en mármol, al parecer de época contemporánea, en el que encontramos una pintura de Nuestra Señora del Carmen. En el gran portón de acceso aparece un lienzo de Jesús Nazareno, datado en el siglo XVII, procedente de la Capilla de Nuestra Señora del Pópulo.
El patio principal, de planta rectangular, es el órgano regulador del espacio, en una combinación entre lo genovés, lo holandés y lo andaluz y se divide en dos cuerpos: el primero de ellos, de orden dórico, está compuesto por tres arcos de medio punto a cada lado apoyados sobre columnas de mármol blanco; mientras que el cuerpo superior está articulado por pilastras que enmarcan vanos rectangulares que terminan en frontones partidos con óculo circular en el centro. El conjunto está decorado con elementos como cabezas femeninas tocadas de laurel, mascarones barbudos, o la representación de Hércules luchando con el león de Nemea y la columna del Non Plus Ultra, estos últimos como reconocimiento a la ayuda prestada en la construcción del edificio por la ciudad de Cádiz.


La escalera, fuente de inspiración para construcciones posteriores, sirve como elemento de comunicación y ascensión, aludiendo simbólicamente a la subida al cielo de las enfermas tratadas en el recinto. Formalmente es de caja rectangular, se divide en seis tramos con descansillos centrales y está rematada por una cúpula elíptica sobre pechinas, donde la luz se filtra por ocho óculos circulares, un conjunto de celosías y un estrecho tambor.
Desde el patio, se accede a la Capilla del Carmen., de planta de salón dividida en tres naves por columnas dóricas de mármol, donde destacan el coro, concebido a modo de tribuna, y las bóvedas, todas decoradas en yeso por el escultor Cayetano de Acosta. Con excepción del tramo central de la bóveda que presenta un tema carmelitano realizado por Felipe Abarzurza y Julio Moisés, tras la reconstrucción de parte de la cubierta llevada a cabo en el siglo XX.

En la Capilla mayor destaca un magnífico retablo de un solo cuerpo flaqueado por columnas dóricas y coronado por frontón curvo. Una obra posterior a la construcción de la propia iglesia, pues presenta traza neoclásica y fue realizado en el siglo XIX por Torcuato Benjumeda, y que contiene como imagen principal una talla de Nuestra Señora del Carmen, probablemente la Imagen devotísima que se colocó tras la inauguración del Hospital. Este altar tiene una curiosidad, que la hace única en la ciudad y que tiene que ver con el uso hospitalario del edificio. La capilla tiene toda una decoración marcada en las entradas de médicos y enfermos, pero lo más destacado es el altar principal, que puede ser girado para que la imagen de la Virgen del Carmen se abra al patio principal, pudiendo realizarse actos multitudinarios.
Consta de cinco capillas colaterales: Capilla del Nacimiento, Capilla de la Inmaculada, Capilla de San Cayetano, Capilla de Nuestra Señora de las Angustias y Capilla de San Francisco de Asís. Es en esta última en la que se encuentra una de las grandes obras maestras de pintura que conservamos en la ciudad: «La visión de San Francisco con el compañero de espalda», de El Greco, (1601), perteneciente a la colección privada del Obispo Armengual de la Mota, y que al heredar su sobrino Bruno Verdugo, fue donada al Hospital junto con otros objetos, que llegaron a Cádiz en 1747.

También encontramos pinturas de Domingo Martínez, como una Dolorosa realizada en 1717 para el retablo del muro lateral de la epístola, o las obras: «Cristo discutiendo con los fariseos en el templo», «Santo Tomás de Villanueva repartiendo limosna», o «Cristo curando al paralítico en la piscina probática». Por otro lado, como símbolo de las relaciones con América, se encuentra un lienzo de la Virgen de Guadalupe, realizado por Antonio de Torres en 1717. Y atribuido a Meneses Osorio, un lienzo de Nuestra Señora del Carmen, en el que destaca la escena representada en la zona inferior, donde aparecen la sala de las enfermas atendida por dos beatas, dos caballeros en la puerta y la figura del administrador y capellán del Hospitalito, que funciona como punto de fuga de la composición.
Para concluir, en el patio destaca la presencia de un Vía Crucis realizado en 1749 con azulejos sevillanos, con escenas basadas en grabados italianos y flamencos del siglo XVII, y cuya organización responde a una disposición premeditada según la cual, aquellos que lo realicen recorrerán las mismas distancias que Cristo durante el calvario.
El edificio ha sufrido distintas remodelaciones hasta llegar a su estado actual, como la realizada en 1909 tras el hundimiento de parte de las bóvedas de la capilla, el salón principal y la fachada, o la acometida en el año 2007 para la restauración de la capilla.