El "prompt injection" tiene su propio contraataque: inyectar falsas instrucciones también a los hackers

La firma de ciberseguridad Tracebit ha descubierto una técnica llamada "context bombing" que permite detener los ataques de "prompt injection" contra sistemas de IA. Esta técnica consiste en insertar texto que activa los mecanismos de rechazo de los modelos de IA cuando intentan robar credenciales. Los investigadores han demostrado su eficacia reduciendo significativamente los accesos de administrador en pruebas con modelos avanzados. Aunque no es una solución definitiva, explota debilidades inherentes a los modelos de lenguaje.