OpenAI está siendo demandada luego de que su chatbot ChatGPT proporcionara consejos médicos peligrosos que casi provocan la muerte de un pastor por una embolia pulmonar. La demanda acusa a la empresa y a su CEO, Sam Altman, de negligencia y práctica médica no autorizada.
Por qué importa: Esta demanda pone en evidencia los riesgos de usar inteligencia artificial para diagnósticos médicos sin supervisión profesional, y cuestiona la efectividad de los filtros de seguridad de ChatGPT.
Lo esencial
- Scott Winters, pastor, recibió recomendaciones médicas erróneas de ChatGPT que retrasaron su tratamiento por embolia pulmonar.
- La demanda acusa a OpenAI de negligencia y práctica médica no autorizada, y pide detener ChatGPT Health hasta que sea seguro.
- OpenAI afirma que sus términos de servicio prohíben usar ChatGPT para diagnósticos médicos, pero promueve subir documentos de salud para consultas.
Consecuencias legales para OpenAI
La demanda presentada por Winters alega que ChatGPT no solo minimizó síntomas graves, sino que también usó argumentos religiosos para disuadirlo de buscar atención médica. Se acusa a OpenAI y a su CEO de negligencia y de ejercer la práctica médica sin autorización, lo que podría tener implicaciones legales significativas para la empresa y su modelo de negocio.
Fallas en los filtros de seguridad de ChatGPT
A pesar de que OpenAI asegura tener guardrails o filtros para evitar que ChatGPT brinde diagnósticos o tratamientos médicos, la demanda sostiene que estos mecanismos fallaron en este caso. ChatGPT incluso aconsejó a Winters ignorar a sus familiares que le urgían a ir al hospital, lo que agravó la situación.
