¿Qué debo hacer si un Empleado AI intenta realizar una acción no autorizada o produce información sospechosa?
Los Empleados AI pueden ayudar con las operaciones comerciales utilizando instrucciones configuradas, conocimientos, integraciones y capacidades soportadas.
El comportamiento inesperado de la IA puede resultar de problemas de configuración, contenido generado inexacto, instrucciones inapropiadas, problemas de integración o intentos de manipulación de solicitudes.
No cada respuesta inesperada indica una violación de seguridad.
Sin embargo, las acciones potencialmente no autorizadas deben ser investigadas.
¿Cuáles son ejemplos de comportamiento sospechoso?
1. Un Empleado AI intenta realizar una operación fuera de sus responsabilidades previstas.
2. Solicita acceso a información no relacionada.
3. Produce contenido que parece contener datos confidenciales.
4. Intenta usar una integración inesperada.
5. Responde a instrucciones no confiables que entran en conflicto con su rol previsto.
6. Activa un flujo de trabajo inesperado.
7. Parece revelar información interna a través de una interacción con el cliente.
¿Qué debo hacer?
Paso 1: Detén la interacción u operación afectada si puede causar daño.
Paso 2: Registra al Empleado AI involucrado.
Paso 3: Toma nota del contexto de la conversación o tarea relevante.
Paso 4: Revisa las instrucciones y responsabilidades configuradas del Empleado AI.
Paso 5: Revisa los recursos de conocimiento disponibles y el acceso a la integración.
Paso 6: Examina el historial de ejecución o colaboración relevante donde esté disponible.
Paso 7: Notifica a un administrador autorizado.
Paso 8: Contacta con el Soporte de Polyosync si el comportamiento sugiere acceso no autorizado o exposición de datos.
¿Qué es la inyección de solicitudes?
La inyección de solicitudes es un intento de influir en un sistema de IA a través de instrucciones no confiables incrustadas en mensajes, documentos, contenido web u otras entradas.
Tales instrucciones pueden intentar desviar al Empleado AI de sus responsabilidades previstas.
¿Cómo se debe manejar la inyección de solicitudes?
Evita tratar el contenido no confiable como instrucciones autorizadas.
Las operaciones sensibles deben seguir estando sujetas a permisos técnicos apropiados y verificaciones de autorización.
¿Puede un Empleado AI acceder a la información de otro cliente simplemente porque se le pregunta?
Una solicitud en lenguaje natural no establece autorización.
Las operaciones de IA deben permanecer dentro de los límites comerciales y de recursos relevantes.
¿Qué pasa si el Empleado AI produce una afirmación falsa sobre el acceso a datos privados?
Los sistemas de IA pueden generar declaraciones incorrectas.
La afirmación debe ser investigada utilizando la evidencia disponible en lugar de asumirse como verdadera.
Práctica recomendada
Define claramente las responsabilidades del Empleado AI, restringe integraciones innecesarias, revisa comportamientos inesperados y aplica supervisión humana a operaciones sensibles.