Resiliencia de LLMs ante inyección de prompts en el contexto del marco técnico regulatorio eléctrico colombiano

Abstract

Evaluamos la resiliencia de tres LLM comerciales: Gemini 2.5 Pro, gpt-4o y DeepSeek Reasoner, frente a ataques override y role-playing usando un sistema RAG reproducible sobre un caso aplicable en el marco regulatorio y técnico eléctrico (RETIE), con 504 respuestas (168/modelo). Medimos Precisión Normativa (PN), Adhesión a la Inyección (AI) y Resiliencia Simple (SR=PN×AI), y reportamos un Weighted Resilience Score (WRS) que pondera por impacto la combinación de los ataques. Observamos WRS similares para gpt-4o (47.76) y DeepSeek (47.32), y menor para Gemini (40.17). No obstante, los modos de fallo difieren: gpt-4o y Gemini ceden con engaño sutil (AI=0.5) manteniendo PN relativamente alta, mientras DeepSeek, cuando falla, lo hace con mayor severidad. Nuestros resultados sugieren que no basta con medir la resiliencia; es clave analizar cómo fallan los modelos, especialmente en dominios regulados.