La inteligencia artificial está entrando en una nueva etapa en la que los sistemas ya no se limitan a responder preguntas o generar contenidos, sino que también pueden tomar decisiones, ejecutar acciones e interactuar con aplicaciones empresariales de manera autónoma. Esta evolución, conocida como IA agéntica, está transformando sectores como la banca, el comercio y la atención al cliente, donde las organizaciones buscan automatizar procesos cada vez más complejos y ofrecer experiencias más rápidas y personalizadas.
Sin embargo, a medida que los agentes de inteligencia artificial adquieren mayores capacidades, también aumentan los desafíos relacionados con la seguridad, la privacidad y el control de sus actuaciones. La posibilidad de que estos sistemas accedan a información confidencial, interactúen con herramientas corporativas o ejecuten operaciones sin intervención humana plantea una cuestión fundamental: ¿quién controla realmente las decisiones de los agentes de IA?
Esta preocupación ha cobrado especial relevancia tras las recientes declaraciones de JPMorgan Chase y las iniciativas anunciadas por NVIDIA para reforzar la seguridad de los sistemas agénticos. Según recoge una publicación de CX Today, ambas compañías están poniendo el foco en la necesidad de establecer mecanismos de protección, supervisión y gobernanza que permitan aprovechar las ventajas de la inteligencia artificial sin comprometer la seguridad de las organizaciones ni la confianza de sus clientes.
JPMorgan advierte sobre los riesgos de los agentes de IA externos
Uno de los mensajes más destacados procede de Jamie Dimon, consejero delegado de JPMorgan Chase, quien ha señalado la importancia de establecer límites claros sobre qué agentes de inteligencia artificial pueden acceder a los sistemas de una organización. Durante la presentación de resultados del banco, Dimon explicó que JPMorgan ya utiliza agentes de IA internamente y contempla ampliar su aplicación a servicios dirigidos a clientes cuando aporten valor. Sin embargo, también manifestó su preocupación por permitir que agentes externos accedan libremente a los entornos tecnológicos de la entidad.
La posición del banco refleja uno de los principales desafíos de la inteligencia artificial empresarial: la autonomía de los agentes debe estar acompañada de mecanismos que permitan controlar sus permisos, verificar su identidad y supervisar las acciones que ejecutan. Un agente externo que interactúa con información financiera, datos personales o aplicaciones críticas puede introducir riesgos si no existen garantías suficientes sobre su comportamiento. Por ello, la cuestión no consiste únicamente en determinar qué tareas puede realizar un agente, sino también quién lo autoriza, qué información puede consultar y qué medidas existen para impedir actuaciones no deseadas.
Esta preocupación resulta especialmente relevante para las empresas que están incorporando agentes de IA en sus procesos de atención al cliente. A medida que estas soluciones evolucionan desde la resolución de consultas sencillas hacia la ejecución de operaciones, como modificar datos, gestionar solicitudes o interactuar con sistemas internos, aumenta la necesidad de contar con controles de acceso y procedimientos de validación adecuados.
NVIDIA impulsa la investigación en seguridad de la inteligencia artificial agéntica
La creciente importancia de la seguridad de los agentes de IA también se refleja en las iniciativas de los principales fabricantes tecnológicos. NVIDIA ha anunciado un compromiso de 250 millones de dólares en capacidad de computación durante cinco años para apoyar la investigación sobre seguridad y protección de sistemas agénticos en Reino Unido. Esta iniciativa, equivalente a 50 millones de dólares anuales en recursos de computación, busca contribuir al desarrollo de tecnologías y metodologías que permitan evaluar y reforzar la seguridad de sistemas de inteligencia artificial cada vez más autónomos.
El programa contempla la colaboración con instituciones académicas y centros de investigación, entre ellos la Universidad de Oxford, University College London e Imperial College London. Las líneas de trabajo incluyen el desarrollo de agentes de IA seguros, la protección de modelos abiertos, la seguridad en robótica, la identificación de amenazas reales y la creación de entornos aislados de ejecución y mecanismos de evaluación. El objetivo es avanzar hacia sistemas capaces de operar con mayores garantías incluso cuando interactúan con información sensible, herramientas externas o entornos tecnológicos complejos.
La iniciativa demuestra que la seguridad se está convirtiendo en un elemento esencial para el desarrollo de la IA agéntica. No basta con crear agentes más inteligentes o capaces de ejecutar un mayor número de tareas: también es necesario garantizar que sus acciones puedan limitarse, supervisarse y auditarse. Para las organizaciones, esto supone incorporar la seguridad desde las primeras fases de diseño e implantación, en lugar de tratarla como una medida adicional cuando los sistemas ya están operativos.
Los nuevos riesgos de seguridad de los agentes de IA en las empresas
La principal diferencia entre los sistemas tradicionales de inteligencia artificial y los agentes autónomos reside en su capacidad de actuación. Mientras que un asistente convencional puede proporcionar información o generar recomendaciones, un agente de IA puede utilizar herramientas, consultar bases de datos, comunicarse con otras aplicaciones y ejecutar acciones en nombre de un usuario. Esta capacidad amplía las posibilidades de automatización, pero también introduce nuevas superficies de riesgo que las empresas deben gestionar.
Uno de los principales desafíos es el control de identidad y permisos. Los agentes necesitan acceder a determinados recursos para realizar sus tareas, pero concederles privilegios excesivos puede provocar que ejecuten acciones fuera del ámbito previsto. También existe el riesgo de que reciban instrucciones maliciosas a través de documentos, mensajes o contenidos externos, una técnica conocida como prompt injection, que puede intentar alterar su comportamiento. A estos desafíos se suman la exposición accidental de información confidencial, el uso inadecuado de credenciales y la dificultad para reconstruir determinadas decisiones cuando no existe una trazabilidad suficiente.
La seguridad de los agentes de IA exige, por tanto, un enfoque diferente al de las aplicaciones tradicionales. Además de proteger la infraestructura tecnológica, las organizaciones deben controlar cómo los agentes interpretan la información, qué herramientas utilizan y qué operaciones están autorizados a ejecutar. Esto requiere combinar mecanismos técnicos de protección con políticas de gobernanza, supervisión humana y procedimientos que permitan detectar y corregir comportamientos inesperados antes de que tengan consecuencias para el negocio.
¿Cómo afecta la seguridad de los agentes de IA a los contact centers?
El sector de la experiencia de cliente es uno de los ámbitos donde la inteligencia artificial agéntica presenta mayores oportunidades. Los contact centers están evolucionando desde modelos de atención basados en respuestas automatizadas hacia sistemas capaces de comprender solicitudes, consultar información y coordinar diferentes acciones para resolver las necesidades de los usuarios. Un agente de IA puede, por ejemplo, identificar una incidencia, consultar el estado de una operación, actualizar determinados datos o iniciar un proceso de gestión sin necesidad de que cada paso sea ejecutado manualmente por un profesional.
Sin embargo, estas capacidades también implican nuevas responsabilidades. Un agente de IA que interactúa directamente con los clientes debe operar dentro de límites claramente definidos, especialmente cuando tiene acceso a información personal, financiera o contractual. Una configuración inadecuada podría permitir que consultara datos que no corresponden al usuario, modificara información sin autorización o ejecutara operaciones que requieren una validación adicional. Por ello, las empresas deben establecer controles que permitan verificar la identidad del cliente, limitar los permisos del agente y determinar en qué situaciones resulta necesaria la intervención de un operador humano.
La confianza del cliente depende tanto de la rapidez de la atención como de la seguridad con la que se gestionan sus solicitudes. Una experiencia automatizada puede resultar eficiente, pero perderá valor si el usuario percibe que sus datos no están protegidos o que las decisiones del sistema carecen de control. En consecuencia, la seguridad debe convertirse en una parte integral de la estrategia de experiencia de cliente, junto con la calidad del servicio, la personalización y la capacidad de resolución.
Gobernanza y supervisión humana: claves para una IA agéntica segura
La adopción empresarial de agentes de inteligencia artificial requiere establecer un modelo de gobernanza que defina responsabilidades, permisos y mecanismos de supervisión. Este modelo debe contemplar tanto el comportamiento individual de cada agente como sus interacciones con otros sistemas, aplicaciones y usuarios. Entre los principios fundamentales destaca el de mínimo privilegio, que consiste en conceder únicamente los permisos necesarios para ejecutar una tarea concreta, evitando accesos innecesarios a información o funcionalidades críticas.
Otro aspecto esencial es la trazabilidad. Las organizaciones necesitan disponer de registros que permitan conocer qué acciones ha realizado un agente, qué información ha utilizado y qué sistemas han intervenido durante la ejecución de una operación. Esta visibilidad facilita la detección de incidencias, las auditorías y la mejora continua de los procesos automatizados. Asimismo, resulta necesario incorporar mecanismos de validación humana para operaciones sensibles, especialmente cuando pueden afectar a datos personales, transacciones económicas o decisiones con consecuencias relevantes para los clientes.
La supervisión humana no debe interpretarse como una limitación de la automatización, sino como un elemento que permite utilizarla con mayores garantías. En un contact center, por ejemplo, los agentes de IA pueden encargarse de gestionar solicitudes habituales mientras que los profesionales intervienen cuando existen excepciones, situaciones complejas o decisiones que requieren una valoración específica. Este modelo de colaboración permite combinar eficiencia operativa y control, aprovechando las capacidades de la inteligencia artificial sin trasladarle responsabilidades que deben permanecer bajo supervisión de la organización.
De la automatización de respuestas a la resolución inteligente de solicitudes
La evolución de la inteligencia artificial en atención al cliente está cambiando el papel de las plataformas de contact center. Durante años, muchas iniciativas de automatización se han centrado en responder preguntas frecuentes, clasificar solicitudes o dirigir conversaciones hacia el departamento adecuado. Aunque estas capacidades han permitido mejorar la disponibilidad del servicio y reducir determinadas tareas repetitivas, las organizaciones buscan ahora soluciones capaces de avanzar un paso más y participar directamente en la resolución de las necesidades del cliente.
La IA agéntica permite conectar la interacción conversacional con los procesos empresariales necesarios para completar una solicitud. De esta manera, un sistema puede comprender lo que necesita el usuario, consultar aplicaciones corporativas y coordinar diferentes acciones dentro de un flujo previamente autorizado. Sin embargo, cuanto mayor es la capacidad de resolución, mayor es también la importancia de garantizar que cada operación se realiza bajo las condiciones adecuadas. La integración entre inteligencia artificial, plataformas de atención al cliente y sistemas de negocio debe diseñarse con criterios de seguridad, autenticación y control que permitan evitar accesos indebidos o acciones no autorizadas.
Este cambio representa una oportunidad para mejorar la experiencia de cliente, pero también exige revisar las estrategias de implantación tecnológica. Las empresas deben definir qué procesos pueden automatizarse completamente, cuáles requieren validaciones adicionales y en qué situaciones es necesario transferir la interacción a un profesional. El objetivo es avanzar hacia una atención más resolutiva y eficiente, manteniendo la confianza y la seguridad como elementos esenciales del servicio.
Weber Solutions: inteligencia artificial y experiencia de cliente con un enfoque empresarial
En Weber Solutions, acompañamos a las organizaciones en la evolución de sus modelos de atención al cliente mediante soluciones de contact center, inteligencia artificial conversacional y automatización de procesos. Nuestra experiencia en plataformas como Genesys Cloud CX y NiCE CXone, junto con las capacidades de inteligencia artificial conversacional y agéntica de NiCE Cognigy, nos permite abordar proyectos orientados a mejorar la eficiencia operativa, la capacidad de resolución y la experiencia de los usuarios.
La evolución hacia sistemas agénticos plantea la necesidad de integrar estas tecnologías con los procesos y aplicaciones existentes, teniendo en cuenta los requisitos de seguridad, privacidad y gobierno de cada organización. En este contexto, resulta fundamental analizar qué información necesitan consultar los agentes, qué operaciones pueden ejecutar y cómo deben coordinarse con los equipos humanos. Una estrategia de automatización eficaz no consiste únicamente en incorporar nuevas funcionalidades, sino en garantizar que estas se integran de manera coherente con la infraestructura tecnológica y los objetivos del negocio.
Desde Weber Solutions apostamos por un enfoque en el que la innovación tecnológica y la fiabilidad de los procesos avancen conjuntamente. La incorporación de inteligencia artificial en la experiencia de cliente debe contribuir a ofrecer una atención más ágil, personalizada y resolutiva, sin perder de vista la protección de la información y la necesidad de mantener el control sobre las operaciones automatizadas.
El futuro de la IA agéntica dependerá de la confianza y la seguridad
Las declaraciones de JPMorgan y la inversión anunciada por NVIDIA reflejan una tendencia cada vez más relevante: la seguridad de los agentes de IA será uno de los factores determinantes para su adopción a gran escala. A medida que las organizaciones incorporen sistemas capaces de tomar decisiones y ejecutar acciones, será necesario desarrollar modelos de protección que vayan más allá de los controles tradicionales y contemplen las particularidades de la inteligencia artificial autónoma.
En el ámbito de la experiencia de cliente, esta evolución plantea un equilibrio entre automatización y confianza. Las empresas necesitan aprovechar las capacidades de la IA agéntica para ofrecer servicios más eficientes, pero también deben garantizar que las interacciones y operaciones se desarrollan dentro de límites seguros y verificables. La gobernanza, la trazabilidad, la protección de datos y la supervisión humana serán elementos esenciales para construir modelos de atención capaces de combinar autonomía tecnológica y responsabilidad empresarial.
En Weber Solutions seguimos impulsando soluciones de inteligencia artificial y experiencia de cliente que ayudan a las organizaciones a evolucionar sus operaciones de atención.