Lo que +6.000 casos clínicos reales le aportan a un agente médico

Por qué medimos

Teral AI vive dentro de la plataforma como un agente que cualquier médico puede consultar desde un chat. A diferencia de un LLM generalista, tiene acceso — vía búsqueda semántica sobre Vertex AI Search — a más de 6.000 casos clínicos resueltos y completamente anonimizados, publicados por médicos reales en interconsultas previas.

La hipótesis que queríamos probar era simple: en tareas médicas específicas, un agente con acceso a precedentes clínicos reales debería responder mejor que un modelo generalista de tamaño equivalente, sin ese contexto. Si la hipótesis se sostiene, valida tanto la arquitectura del producto como el valor del dataset que los médicos de Teral han construido con sus interconsultas.

Elegimos Claude Sonnet 4.5 como comparación porque es un modelo generalista de frontera con un tier comparable al Gemini sobre el que construimos Teral AI. Queríamos medir el impacto del retrieval, no de la brecha entre modelos base.

Resultados

Teral AI superó a Claude en las cinco dimensiones evaluadas. La tabla siguiente muestra los scores promedio sobre los 300 casos del benchmark.

Win rate

Si en lugar de promedios comparamos el resultado caso por caso, Teral AI ganó en más del doble de interconsultas que Claude.

Metodología

Diseñamos el benchmark para que fuera comparable, ciego y ejecutable sobre casos reales — no sintéticos.

Dataset

Seleccionamos 300 interconsultas reales publicadas por médicos en la plataforma Teral, distribuidas en partes iguales entre tres especialidades: dermatología, ortopedia y traumatología, y otorrinolaringología. Todos los casos tenían al menos un comentario sustancial (≥30 caracteres) de un especialista, es decir, contaban con una respuesta clínica de referencia generada por un médico real.

Prompt estandarizado

Ambos servicios recibieron exactamente el mismo prompt, con la descripción clínica del caso y una estructura de respuesta común (análisis, diagnósticos diferenciales, exámenes sugeridos, tratamiento y recomendaciones). Teral AI podía consultar su base de casos similares durante la generación; Claude respondía únicamente con su conocimiento general.

Evaluación

Usamos Gemini 2.5 Flash como juez automatizado. Las respuestas se le presentaron sin etiqueta de origen y en orden aleatorio por caso, para evitar sesgo posicional y de marca. El juez calificó cinco dimensiones en una escala de 1 a 5:

• Precisión diagnóstica: ¿los diagnósticos diferenciales incluyen el correcto y están bien priorizados?
• Calidad del tratamiento: ¿el manejo sugerido es apropiado y consistente con lo que haría un especialista?
• Exámenes complementarios: ¿los estudios recomendados son pertinentes, no excesivos ni insuficientes?
• Calidad general: ¿la respuesta es clara, profesional y útil como interconsulta?
• Seguridad clínica: ¿la respuesta podría causar daño al paciente?

Dónde el retrieval aporta más valor

La ventaja de Teral AI no se reparte por igual entre las dimensiones. Crece donde el acceso a casos similares importa más — recomendación de exámenes específicos, combinaciones de tratamiento, priorización de diagnósticos — y se aplana donde ambos modelos ya parten de una línea base alta, como seguridad clínica.

Tiene sentido clínico: cuando un modelo generalista enfrenta un caso de lesiones eritematosas en miembros inferiores, tiene que razonar desde principios generales. Teral AI puede buscar casos previos con presentaciones clínicas similares que ya tienen diagnóstico confirmado y tratamiento documentado por un especialista, y usar esa evidencia real para priorizar diagnósticos, recomendar estudios específicos y proponer manejos con dosis y duraciones concretas.

La seguridad clínica, en cambio, es una línea base alta para ambos modelos: los LLMs modernos están entrenados para ser conservadores en recomendaciones médicas, y el contexto adicional aporta poco cuando ya se está cerca del techo.

Resultados por especialidad

La ventaja se sostiene en las tres especialidades, con diferencias entre 2,2 y 3,0 puntos sobre 25.

Dermatología, con casi cuatro veces más casos indexados que ortopedia, muestra la mayor ventaja. Pero la diferencia entre ortopedia y otorrinolaringología es casi idéntica, aunque sus volúmenes difieran. La lectura preliminar es que a más casos indexados, mayor ventaja — pero con retornos decrecientes. Pasar de cero a unos cientos de casos parece aportar la mayor parte del valor; el resto refina.

Limitaciones y lo que aún no sabemos

Un benchmark es tan útil como honesto. Estas son las limitaciones que queremos declarar abiertamente, y los siguientes pasos que ya tenemos identificados.

Ninguna de estas limitaciones invalida el resultado principal, pero sí acotan su interpretación. Lo que el benchmark muestra es que el acceso a casos clínicos reales mejora materialmente las respuestas de un LLM en las dimensiones donde los precedentes importan. Lo que no muestra todavía es si esa ventaja se traduce en mejor toma de decisiones clínicas en la práctica. Esa es una pregunta distinta, y la responderemos con estudios diseñados para eso.

Qué sigue

Este benchmark es la primera versión pública de un proceso de evaluación que queremos correr de forma recurrente. Los próximos pasos son:

• Validación humana con especialistas. Calibrar el juez automatizado contra evaluaciones de médicos reales en una submuestra representativa.
• Más especialidades. Expandir la evaluación a medicina interna, pediatría y cardiología, donde el comportamiento de Teral AI con menor volumen de casos será más revelador.
• Más modelos de comparación. Incluir otros modelos generalistas de frontera y, eventualmente, modelos médicos especializados disponibles públicamente.
• Casos adversariales. Probar qué pasa con casos intencionalmente difíciles, con datos contradictorios o con presentaciones clínicas atípicas.

Seguiremos publicando los resultados aquí. Si eres médico y quieres probar Teral AI, puedes hacerlo desde la app o en chat.teral.ai.