Antecedentes

Planteamiento del caso de estudio

Resultados

Conclusiones

Antecedentes 

Lo primero hay que entender que hay muchas herramientas anteriores a estas IA, que han sentado las bases de algo parecido a “pensar por nosotros”. El Machine Learning y las Redes Neuronales son ejemplos de esto. Estos desarrollos se basan en utilizar muchos datos para predecir comportamientos futuros. Además, estos llevan bastantes décadas entre nosotros. De hecho, los orígenes de la IA se remontan a mediados del siglo XX, con contribuciones fundamentales de pioneros como Alan Turing y John McCarthy. Innovaciones como ELIZA, SHRDLU y MYCIN impulsaron la investigación en algoritmos de aprendizaje automático y redes neuronales. (B. Delipetrev et al, 2020)

Pero las AI generativas son diferentes, ya que no necesitan un volumen de datos tan grande ni que nosotros las entrenemos (o no tanto al menos), si no que su codificación ha sido enseñada previamente y cada aplicación que hacemos permite un aprendizaje en menor tiempo, con menor volumen de datos de entrada y en manos no expertas (o casi). Ahí está su ventaja y el gran salto que se ha dado en apenas 3 años.

Además, hay tres principales razones que han impulsado ChatGPT y las demás IA-generativas del mercado de hoy:

• Pueden aumentar mucho la productividad.(S.O. Abioye et al, 2021)
• Son herramientas de bajo coste. (T. Araújo et al, 2020)
• Están en un desarrollo exponencial, con nuevas aplicaciones cada semana. (K. Baduge et al, 2022)

Por el contrario, el uso de IA-gen tiene el riesgo de crear alucinaciones, esto es algo que detectaron sobre todo en los primeros años (L. Sanchez-Ramos et al 2023) (M. Chelli et al, 2024). Esto es algo complejo, que ha ido mejorando, pero todavía debe revisarse en cada caso antes de creernos lo que se dice en estas herramientas, ya que la fase de transición podría durar 2-3 años (J. Soler Garrido et al, 2024).

Planteamiento del caso de estudio 

A partir del contexto, se plantean 3 grandes preguntas:

• 1) ¿Puede la IA de acceso abierto sustituir los diagnósticos de los expertos en rehabilitación de edificios?
• 2) ¿Puede la IA ofrecer buenas recomendaciones de eficiencia energética para la rehabilitación de un edificio determinado?
• 3) ¿La calidad de la respuesta está relacionada con el nivel de conocimiento del usuario y el nivel de detalle de la pregunta?

Para responderlas, preguntamos a la IA por cómo rehabilitaría un edificio y analizamos sus respuestas. Lo hacemos en diferentes sesiones, con 10 repeticiones en cada una y sobre todo, utilizando preguntas progresivas para simular el nivel de conocimiento, desde básico, avanzado, hasta experto. Así en cada sesión conseguimos 3x10 respuestas a analizar.

Siendo el primer estudio de este tipo, elegimos un edificio sencillo: una vivienda unifamiliar. Buscamos una vivienda que hubiera sido analizada en publicaciones independientes y elegimos un caso en Noruega, que es relativamente fácil por ser un clima frío y no tener las dificultades de ajuste de clima dual o cálido. (A. Gonzalez-Caceres et al 2022).

Teniendo el edificio, se concretaron tres peticiones a ChatGPT (prompts). La primera pregunta (Q1) presenta la información base de la casa, la época de construcción, superficies, instalaciones, etc, y pide las medidas de rehabilitación pasiva, utilizando diferentes niveles de ambición. En la segunda pregunta más avanzada (Q2), se añaden las características técnicas de los cerramientos e instalaciones. Finalmente, en la tercera pregunta más experta (Q3), le pedimos que utilice una justificación coste óptimo, para recomendar cada una de las medidas de rehabilitación.

Los resultados se analizaron con 5 indicadores clave o KPI: el número de niveles de ambición, la cantidad de medidas de mejora, las referencias facilitadas, así como el tipo de respuesta más cualitativa o más numérica y finalmente la calidad de la respuesta de baja a alta.

Todo esto se analizó con la versión de 2023, y se repitió a finales de 2024, con resultados muy interesantes. Se analizaron 60 respuestas en detalle.

Resultados 

Los resultados más interesantes son los relacionados con los tipos de respuestas y su calidad. En 2023 había una mayoría de respuestas cualitativas, donde apenas de facilitaban datos numéricos. Sin embargo, en 2024 el algoritmo de OpenAI fue capaz de dar respuestas numéricas totales o parciales en la gran mayoría de casos. Igualmente, la calidad de las respuestas mejora en todas las preguntas. Esto evidencia que ha habido un avance muy importante entre estas versiones.

Por otro lado, podemos repasar en más detalle las respuestas, viendo los niveles propuestos, las cantidades de medidas de rehabilitación y como fueron formuladas las referencias externas.

Los resultados de 2023 mostraron un comportamiento más diverso con más variabilidad entre las repeticiones. Había una tendencia limitada a bajar en el número de elementos de las respuestas, con algo menos niveles de ambición y referencias en las preguntas Q3.

En 2024, los niveles de ambición fueron un poco más regulares. Todas las iteraciones dieron 3 niveles de ambición, pero las medidas de rehabilitación vuelven a ser dispares, con tendencias a la baja en Q3, como en 2023.

Conclusiones 

Los resultados con la última versión son muy avanzados, así que la IA de ChatGPT ha dado un gran salto. Tras este estudio, la idea general es que estas herramientas pueden ayudar a entender mejor las mejoras de rehabilitación. Quizás, podrían usarse como apoyo al servicio técnico o de información desde las instituciones públicas. Se podrían ofrecer prompts ya testeados, o dar pautas para que cada persona haga bien las preguntas y revise.

En concreto, volviendo al estudio, tras analizar todos los resultados, vamos a contestar a las 3 preguntas clave:

• 1) ¿Puede la IA de acceso abierto sustituir los diagnósticos de los expertos en rehabilitación de edificios?
  • No sustituye, sino que contribuye. La IA de acceso abierto no puede sustituir los diagnósticos de expertos, pero sí puede contribuir claramente a proporcionar información útil a los usuarios no expertos desde el principio.
• 2) ¿Puede la IA ofrecer buenas recomendaciones de eficiencia energética para la rehabilitación de un edificio determinado?
  • Sí. Esta IA de acceso abierto (ChatGPT) puede ofrecer buenas recomendaciones sobre medidas de eficiencia energética para la renovación de un caso concreto. Las respuestas son ricas y variadas, lo que amplía el potencial de resultados más que las búsquedas convencionales en internet.
• 3) ¿La calidad de la respuesta está relacionada con el nivel de conocimiento del usuario y el nivel de detalle de la pregunta?
  • Sí (en 2025). Un mayor nivel de preparación probablemente daría una mejor respuesta. Por lo tanto, a pesar de ser un estudio limitado, podemos afirmar que la calidad de la respuesta probablemente esté relacionada con los conocimientos del usuario y los detalles incluidos en la pregunta.

Además, hemos comprobado que ChatGPT puede ser una excelente herramienta para empezar, pero todavía no es adecuada para trabajos profundos sin supervisión. Desde la primera pregunta, un usuario sin experiencia puede obtener una respuesta amplia (muchas medidas de ahorro energético). Lamentablemente, las referencias proporcionadas son generales en lugar de específicas para los detalles del caso.

La usabilidad de la herramienta de IA es muy cercana, pero las respuestas de la IA dependen en gran medida del detalle y el conocimiento de las preguntas. Los usuarios sin experiencia tendrían más dificultades para obtener buenas respuestas. La calidad de las respuestas sigue siendo media en la mayoría de las iteraciones probadas.

Debemos tener presente también las limitaciones de este estudio, que utiliza las versiones públicas gratuita de ChatGPT con información anterior a 2022 y solo de fuentes sin derechos de autor.

La situación está cambiando a gran velocidad, así que os animamos a seguir aprendiendo y leyendo futuros estudios.

Podéis leer el artículo completo en este enlace 

Agradecimientos

This publication is part of the R+D+i project PID2021-126739OB-C22, financed by MCIN/AEI/10.13039/501100011033/ and “ERDF A way of making Europe”.

This study was possible thanks to the financing and support of the Thermal Area of the Laboratory of Quality Control of Buildings of the Basque Government

Referencias

J.M Hidalgo-Betanzos, I. Prol-Godoy, J. Terés-Zubiaga, R. Briones-Llorente, A. Martín-Garín (2024). Can ChatGPT AI Replace or Contribute to Experts’ Diagnosis for Renovation Measures Identification? Buildings, 15(3), 421. https://doi.org/10.3390/buildings15030421

Delipetrev, B.; Tsinarakii, C.; Kostić, U. Historical Evolution of Artificial Intelligence; EUR 30221EN; Publications Office of the European Union: Luxembourg, 2020; JRC120469; ISBN 978-92-76-18940-4. https://doi.org/10.2760/801580

Abioye, S.O.; Oyedele, L.O.; Akanbi, L.; Ajayi, A.; Delgado, J.M.D.; Bilal, M.; Akinade, O.O.; Ahmed, A. Artificial intelligence in the construction industry: A review of present status, opportunities and future challenges. J. Build. Eng. 2021, 44, 103299. https://doi.org/10.1016/j.jobe.2021.103299

Araújo, T.; Silva, L.; Moreira, A. Evaluation of Low-Cost Sensors for Weather and Carbon Dioxide Monitoring in Internet of Things Context. IoT 2020, 1, 286–308. https://doi.org/10.3390/iot1020017

Baduge, S.K.; Thilakarathna, S.; Perera, J.S.; Arashpour, M.; Sharafi, P.; Teodosio, B.; Shringi, A.; Mendis, P. Artificial intelligence and smart vision for building and construction 4.0: Machine and deep learning methods and applications. In Automation in Construction; Elsevier: Amsterdam, The Netherlands, 2022; Volume 141, p. 104440. ISSN 0926-5805. https://doi.org/10.1016/j.autcon.2022.104440

Sanchez-Ramos, L.; Lin, L.; Romero, R. Beware of references when using ChatGPT as a source of information to write scientific articles. Am. J. Obstet. Gynecol. 2023, 229, 356–357. https://doi.org/10.1016/j.ajog.2023.04.004

Chelli, M.; Descamps, J.; Lavoué, V.; Trojani, C.; Azar, M.; Deckert, M.; Raynier, J.-L.; Clowez, G.; Boileau, P.; Ruetsch-Chelli, C. Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis. J. Med. Internet Res. 2024, 26, e53164. https://doi.org/10.2196/53164

Soler Garrido, J.; de Nigris, S.; Bassani, E.; Sanchez, I.; Evas, T.; André, A.; Boulangé, T. Harmonised Standards for the European AI Act. European Commission: Seville, Spain. 2024. JRC139430. https://publications.jrc.ec.europa.eu/repository/handle/JRC139430

Gonzalez-Caceres, A.; Karlshøj, J.; Vik, T.A.; Hempel, E.; Nielsen, T.R. Evaluation of cost-effective measures for the renovation of existing dwellings in the framework of the energy certification system: A case study in Norway. Energy Build. 2022, 264, 112071 https://doi.org/10.1016/j.enbuild.2022.112071