La IA en la ciencia plantea riesgos para la seguridad a pesar de los rápidos avances

3

La adopción generalizada de la inteligencia artificial (IA) en la investigación científica presenta un peligro oculto: se ha demostrado que los modelos actuales no son confiables cuando se trata de seguridad básica en el laboratorio. Un estudio reciente revela que incluso los sistemas de IA más avanzados rutinariamente no logran identificar peligros críticos, lo que genera preocupaciones sobre posibles accidentes en entornos de investigación. Este no es un riesgo teórico; Los incidentes de laboratorio, aunque son raros, ocurren, y en el pasado tragedias incluyeron muertes y lesiones graves debido a peligros químicos o de procedimiento que se pasaron por alto.

El problema central radica en la naturaleza de estos modelos de IA. Si bien son capaces de realizar hazañas impresionantes, como redactar correos electrónicos o resumir artículos, carecen del conocimiento especializado necesario para evaluar los riesgos físicos del mundo real. Investigadores de la Universidad de Notre Dame desarrollaron un punto de referencia llamado LabSafety Bench para probar esto, utilizando 765 preguntas de opción múltiple y 404 escenarios visuales que involucran peligros de laboratorio. Los resultados fueron alarmantes: ninguno de los 19 modelos de IA de vanguardia probados logró una precisión superior al 70%. Algunos no obtuvieron mejores resultados que las adivinanzas aleatorias.

El problema de la IA de uso general

El problema no es que la IA no pueda ayudar en la ciencia; es que los modelos de lenguajes grandes (LLM) actuales no fueron diseñados para la precisión requerida en entornos peligrosos. Se destacan en tareas generales, pero tropiezan cuando se aplican a dominios como la química, donde un solo error puede tener consecuencias catastróficas. Por ejemplo, cuando se les preguntó sobre el manejo de derrames de ácido sulfúrico, algunos modelos de IA desaconsejaron incorrectamente enjuagar con agua, un error fatal basado en una mala aplicación de advertencias relacionadas con el calor de otros contextos.

Mejora rápida, pero aún arriesgada

La buena noticia es que la IA está mejorando rápidamente. Algunos modelos, como el GPT-5.2 de OpenAI, muestran habilidades de razonamiento y detección de errores significativamente mejores que las versiones anteriores. Sin embargo, incluso los sistemas más avanzados aún no son lo suficientemente fiables para su uso sin supervisión en los laboratorios. Los expertos coinciden en que los seres humanos deben mantener firmemente el control, proporcionando supervisión y escrutinio. Un investigador de UCLA señaló que el rendimiento de la IA ya está mejorando mes a mes, lo que sugiere que los estudios actuales pronto quedarán obsoletos.

El factor humano sigue siendo crucial

Si bien la IA puede eventualmente superar a algunos investigadores inexpertos en conciencia de seguridad, el peligro inmediato no son solo los modelos en sí. El mayor problema es la excesiva dependencia humana de estos sistemas. A medida que la IA se vuelve más integrada, existe el riesgo de que los investigadores se vuelvan complacientes y deleguen el pensamiento crítico a las máquinas sin la validación adecuada. Esto pone de relieve la necesidad de protocolos de seguridad más estrictos y formación continua, especialmente para los nuevos estudiantes con experiencia limitada.

En última instancia, el potencial de la IA en la ciencia es innegable, pero el despliegue sin control en entornos de alto riesgo sigue siendo una apuesta peligrosa. Hasta que estos modelos puedan demostrar consistentemente una identificación confiable de los peligros, la supervisión humana debe seguir siendo la principal salvaguarda.