Los sistemas de inteligencia artificial (IA) están revolucionando sectores como la atención médica y la atención al cliente, ofreciendo promesas de rapidez y eficiencia. Sin embargo, un análisis reciente revela que estos sistemas pueden acumular riesgos ocultos cuando operan sin supervisión activa. Estos riesgos pueden manifestarse en daños a la marca, problemas de ciberseguridad y preocupaciones éticas, que a menudo permanecen ocultos hasta que ocurre una crisis pública.
La máquina problemática
Un ejemplo destacado es el de la aplicación GP at Hand de Babylon Health, lanzada en 2017. Aunque prometía un triaje digital las 24 horas, auditorías externas encontraron que el sistema subestimaba la gravedad del dolor en el pecho y generaba resultados sesgados por género. Esto llevó a los reguladores a advertir sobre su metodología, evidenciando las consecuencias de tratar la gobernanza como un remedio posterior al lanzamiento.
En un caso más reciente, la empresa británica DPD experimentó un desliz con su chatbot. Después de una actualización rutinaria, el chatbot empezó a interactuar de manera inapropiada, afectando gravemente la confianza del cliente y dañando la reputación de la marca. Esta situación se desató porque la gobernanza no estuvo integrada en el diseño del sistema.
Contrariamente, el asistente virtual Erica, del Bank of America, ilustra el éxito que puede lograrse con una gobernanza adecuada. Desde su creación, su arquitectura se diseñó con un enfoque claro en la gobernanza y limitación de su alcance, lo que le permitió manejar interacciones en un sector altamente regulado sin poner en riesgo la credibilidad de la entidad.
Para prevenir crisis similares, se sugieren mecanismos como el Agent broker, que verifica permisos y asegura el alineamiento con las políticas, y el Evidence latency budget, que establece la rapidez en la disponibilidad de pruebas para cualquier acción de IA. La clave para el éxito de la IA radica en la gobernanza efectiva, que debe establecerse desde el inicio para evitar que la tecnología se convierta en un riesgo inminente.