Análisis editorial original de OrbTrail ampliado con investigación complementaria, contexto práctico y referencias verificadas.
Salesforce publicó el 2 de septiembre de 2026 una serie de pruebas para mejorar respuestas RAG en Data 360. En el benchmark WixQA, un conjunto de configuraciones elevó la exactitud del 62,5% al 92,5% sin código personalizado ni entrenamiento de modelos. En documentos empresariales complejos de OHRBench, el pipeline alcanzó 86,8% de exactitud de extremo a extremo. Son resultados importantes y reproducibles sobre datasets públicos, pero no prometen que cualquier centro de ayuda, manual técnico o política interna ganará los mismos treinta puntos porcentuales.
La pregunta central es más precisa que '¿qué configuración mejora RAG?': ¿cómo identificar si el error comienza en el procesamiento del archivo, la división del contenido, la recuperación o la generación, y demostrar que la corrección se transfiere al corpus de la empresa antes de ampliar el contexto? Las mediciones de Salesforce ayudan a separar capas. Tras la optimización completa, el 40% de los errores restantes provino de la generación, el 26% del procesamiento, el 18% de la búsqueda y el 16% de la división. Esa distribución pertenece a las pruebas descritas y Salesforce advierte que variará según el tipo de documento.
El análisis de OrbTrail es que la novedad principal no es una cifra aislada, sino la posibilidad de convertir RAG en un sistema diagnosticable. Cambiar el modelo porque una respuesta es incorrecta desperdicia esfuerzo cuando una tabla se destruyó durante la ingesta. Aumentar top-k puede añadir ruido cuando el pasaje correcto ya estaba entre los primeros resultados. Un prompt más rígido no recupera un diagrama que nunca entró al índice. Un despliegue defendible comienza con preguntas verificables y modifica una capa por vez, manteniendo modelo, corpus y método de puntuación bajo control.
La página debe sobrevivir a la ingesta
En OHRBench según Salesforce, el parsing inteligente llevó el resultado de extremo a extremo del 65% al 84,4%; se espera el recurso para noviembre de 2026.
Procedimiento y advertencia siguen juntos
El tamaño del chunk debe preservar la unidad necesaria para responder, no obedecer de forma aislada a una cantidad fija de tokens.
Relevancia supera volumen
La indexación enriquecida añadió 2,4 puntos en la prueba citada; un top-k mayor solo ayuda si aporta evidencia y no distractores.
Contexto correcto aún puede producir error
Salesforce atribuyó el 40% de los errores residuales a la generación en sus benchmarks; fidelidad y completitud necesitan medidas propias.
El corpus local toma la decisión
Preguntas doradas, respuestas esperadas, pasajes de soporte y notas por capa forman el gate antes de promover.
El parsing inteligente repara la página antes de que la búsqueda la interprete
La primera pregunta complementaria es dónde puede desaparecer la información antes de que empiece la recuperación. OHRBench contiene 8.561 imágenes de documentos de siete dominios y 8.498 pares de pregunta y respuesta derivados de elementos multimodales. Sus autores muestran que el ruido semántico y de formato introducido por OCR se propaga por el resto del pipeline RAG. Una celda desplazada, un orden de lectura incorrecto o un gráfico reducido a texto incompleto no es solo un defecto visual: cambia la evidencia recuperable frente a la que una persona ve en la página publicada.
En las pruebas de Salesforce, el parsing inteligente evalúa cada página y dirige el material predominantemente textual o visual a métodos de extracción distintos. En el recorte reportado de OHRBench, la exactitud para gráficos y diagramas subió del 57,9% al 76,3%; el orden de lectura en diseños multicolumna o multipágina, del 11,9% al 67,1%; y el resultado de extremo a extremo, del 65% al 84,4%. Salesforce dice que la función se espera para noviembre de 2026. Debe figurar en el roadmap como disponibilidad futura declarada, no como capacidad ya garantizada en toda organización o región.
La decisión práctica es clasificar el corpus antes de elegir el remedio. Separa artículos HTML simples, PDF textuales, documentos dominados por tablas, presentaciones, manuales con diagramas y archivos escaneados. Para cada clase, elige preguntas cuya respuesta dependa de esa estructura: la fila y columna de una tabla, el orden completo de un procedimiento o una condición en una nota lateral. Compara el contenido extraído con la página fuente antes de puntuar la respuesta del agente. Si la evidencia ya está corrupta en esta etapa, cambiar embeddings, prompts o modelos solo oculta el defecto.
Un benchmark mide el corpus que recibió, no el tuyo
La segunda pregunta es qué demuestra realmente el 92,5%. WixQA se construyó alrededor de una instantánea de la base pública de ayuda de Wix y contiene tres datasets: 200 consultas reales con respuestas multietapa escritas por expertos, 200 pares derivados de diálogos y validados por expertos y 6.222 pares sintéticos, uno generado sistemáticamente por artículo. Esto se acerca mucho más al soporte empresarial que las preguntas enciclopédicas genéricas. Aun así, refleja vocabulario, estructura editorial, idioma y políticas de un producto, y no mide automáticamente contratos jurídicos, manuales de campo o conocimiento interno en portugués y español.
Salesforce reporta que, sobre ese benchmark, pasar de chunks de 512 a 2.048 tokens, elevar la profundidad de recuperación de 10 a 30 pasajes y aplicar un prompt adaptado al dominio elevó la exactitud del 62,5% al 92,5%. Los cambios se evaluaron como la configuración indicada. Los equipos no deben convertir 2.048 y 30 en valores universales: un procedimiento largo puede beneficiarse de continuidad, mientras una base de artículos cortos y repetitivos puede producir chunks grandes llenos de temas rivales. La cifra útil es la mejora observada bajo condiciones controladas en el corpus local.
Una advertencia independiente proviene de Lost in the Middle. El estudio halló que los modelos podían aprovechar peor la evidencia situada en medio de contextos largos y, en un experimento de preguntas abiertas, el rendimiento se saturó antes que el recall del recuperador. Sus modelos y datos son de 2023, por lo que el resultado no cuantifica los modelos actuales de Data 360. Sí sostiene una precaución arquitectónica vigente: más material recuperado crea oportunidad y distracción al mismo tiempo. Prueba top-k como curva —por ejemplo 5, 10, 20 y 30— y registra recall, fidelidad, latencia y consumo en lugar de aprobar el mayor valor por defecto.
Un top-k mayor solo entra en producción con evidencia por capa
La tercera pregunta es cómo convertir la demostración en un gate operativo. Empieza con 20 a 50 preguntas acompañadas de respuestas correctas, el rango que Salesforce recomienda para la evaluación local. La muestra debe representar el trabajo real, no solo casos fáciles: incluye respuestas de una página, procedimientos multietapa, tablas, preguntas sin respuesta en el corpus, versiones conflictivas y vocabulario de clientes que no aparece literalmente en la fuente. Guarda la página y el pasaje autorizado para cada pregunta. Sin esa evidencia, una nota final no revela si el sistema llegó a la respuesta correcta por el motivo correcto.
Después puntúa las capas por separado. El framework de investigación Ragas distingue si la recuperación encuentra pasajes relevantes y enfocados, si el modelo usa esos pasajes con fidelidad y si la respuesta generada atiende la pregunta. Una organización no necesita adoptar una biblioteca específica para aprovechar la descomposición. Puede medir hit o recall del pasaje esperado, precisión del contexto recuperado, fidelidad por afirmación, completitud y rechazo correcto cuando el repositorio no contiene soporte. La revisión humana sigue siendo necesaria en casos de alto impacto y para calibrar cualquier evaluador automático.
Un experimento secuencial evita conclusiones falsas. Primero congela modelo y prompt mientras comparas parsing; después congela la mejor extracción y varía chunking e indexación; solo entonces compara top-k y prompts de generación. Promueve una configuración cuando mejora el conjunto completo sin una regresión inaceptable en la clase más crítica, mantiene respuestas sin soporte bajo el límite definido y cabe en los presupuestos de latencia y consumo. Repite la suite tras cambios materiales del corpus. La conclusión de OrbTrail es directa: Salesforce demuestra que la configuración puede recuperar mucho rendimiento, pero el activo duradero no es la configuración ganadora, sino el método que explica por qué ganó y detecta cuándo deja de ganar.
