La fundación fue pedida por la ciudad al Provincial de Andalucía, que obtuvo licencia del Obispado, tomando los frailes posesión de la ermita de San José el 7 de mayo de 1591, en una prominencia con vistas al mar. Las escrituras con la cofradía de La Soledad, que allí radicaba, se estipularon el 26 de septiembre del mismo año, celebrando el concierto final el 5 de abril de 1592. Era finales del siglo XVI, y fray  Antonio de Jesús, discípulo de Santa Teresa y compañero de San Juan de la Cruz, vivió en este convento sus últimos años de vida, y en él fue enterrado.

En San José de la Soledad vivieron ilustres religiosos que laboraron grandemente en los campos de las ciencias y las letras. Como es el caso de Anastasio de Santa Teresa que, entre sus obras impresas, destacan Censura Mística y el tomo VII de la Historia de la Reforma Teresiana. 

Tras la desamortización, dejó de ser convento y pasó a manos privadas, tomando distintos caminos sus diferentes partes. Su iglesia terminará siendo un teatro, su huerta una plaza de toros, y en sus dependencias conventuales se instalarían diversas actividades privadas, como una fábrica de aceite, un banco y un almacén de tabacalera. 

En el I Congreso de Historia de Andalucía -diciembre de 1976- la profesora de la Universidad de Málaga, doctora María Aurora Miró Domínguez, presentó una ponencia titulada “San José de la Soledad. El Carmen de Vélez-Málaga”, en la que defendía al noble complejo conventual veleño, de estilo mudéjar-renaciente, -ejemplo de manierismo andaluz en muchas de sus partes- y se lamentaba del deprimente estado en el que se encontraba por la incultura y la inoperancia de las autoridades locales y provinciales.

El conjunto carmelitano, de innegable valor arquitectónico y urbanístico, estaba compuesto por varias partes claramente definidas: la iglesia, el convento, el noviciado y la huerta. El noviciado -la parte más antigua- en­­­globaba el claustro, la torre, la capilla de fundadores, el refectorio y las celdas. La iglesia, a pesar de la desamortización, siguió abierta al culto hasta finales del siglo XIX, y en la segunda decena del siglo XX, su nave central fue convertida en teatro. La huerta sirvió para enclavar una plaza de toros, inaugurada durante la Feria de San Miguel de 1894, y demolida setenta y tres años después.

El 16 de febrero de 1973 la Dirección General de Bellas Artes emitió un informe, enviado al alcalde-presidente del Excmo. Ayuntamiento, en el que, entre otras cosas, manifestaba: “…El inmueble que alberga la iglesia es de fácil rescate y rehabilitación, poseyendo elementos arquitectónicos de interés, artesonados, arcos, posiblemente pavimentos originales, etc., por lo que no siendo los daños que le afectan de tal magnitud que aconsejen su demolición, debe solicitarse de los interesados el correspondiente proyecto de restauración de los elementos de interés citados…”.

En otro punto, el mencionado informe agregaba: “…Respecto al convento y noviciado se establece que deben conservarse, indefectiblemente, sus volúmenes, huecos, patio y tratamiento y calidades de los materiales de las fachadas…“

Pero poco a poco el decaimiento del estado del Carmen de Vélez-Málaga fue creciendo hasta lo indecible, llegando a peligro inminente su supervivencia. En sus tres últimos años de vida se deterioró (fue deteriorado) más que en los últimos tres siglos.

Las actas del Primer Congreso de Historia de Andalucía (Córdoba, 1976) decía, entre otras cosas, que “…Es urgente acudir en su auxilio y salvar las partes más importantes de su interior, ya que su pérdida sería irreparable…”.

Pero unas autoridades inoperantes, que no supieron -o no quisieron- salvar al noble edificio, quedaron marcadas para el futuro como “cómplices” del desmán histórico-patrimonial cultural que se llevó a cabo en sus últimos tiempos, y se materializó en una fórmula de demolición artificiosa e inusual, como fue la de “silencio administrativo”.

El monasterio del Bienaventurado San José y de la Soledad de Nuestra Señora del Monte Carmelo, de Vélez-Málaga, fue demolido el 20 de enero de 1982.