¿Qué es Sample Ratio Mismatch?
Sample Ratio Mismatch o SRM es una señal de calidad experimental que aparece cuando la distribución observada de unidades entre variantes difiere de forma estadísticamente improbable respecto de la proporción que el experimento esperaba asignar.
Qué es Sample Ratio Mismatch
Si un experimento debía repartir 50/50 pero termina con un desbalance demasiado grande para atribuirlo razonablemente al azar, el SRM indica que algo puede estar alterando asignación, exposición, elegibilidad o captura de datos.
No identifica por sí solo la causa. Puede deberse a fallos de randomización, pérdidas diferenciales de telemetría, filtros aplicados después de asignar, crashes, reglas de targeting o problemas de exposición. Por eso se trata como una alarma diagnóstica, no como una explicación automática.
Qué define el concepto
Sample Ratio Mismatch o SRM es una señal de calidad experimental que aparece cuando la distribución observada de unidades entre variantes difiere de forma estadísticamente improbable respecto de la proporción que el experimento esperaba asignar.
Dónde está el límite
No es simplemente que dos grupos tengan tamaños distintos. La diferencia debe evaluarse contra la proporción esperada y la variabilidad aleatoria compatible con el diseño.
Sample Ratio Mismatch: diferencias con conceptos cercanos
| Concepto | Diferencia clave |
|---|---|
| Sample Ratio Mismatch | Detecta una diferencia anómala entre asignación esperada y observada. |
| Desbalance casual | Puede ocurrir por azar y seguir siendo compatible con la asignación prevista. |
| Bias de selección | Es una distorsión sistemática en quién entra o permanece en cada grupo; puede ser consecuencia de algunas causas de SRM. |
| Diferencia de métricas | Un lift entre variantes no implica SRM; SRM analiza tamaños/proporciones de muestra. |
Piezas conceptuales de Sample Ratio Mismatch
Ratio esperado
Surge de la configuración de tráfico o asignación del experimento.
Conteos observados
Miden cuántas unidades aparecen finalmente en cada variante.
Prueba de discrepancia
Evalúa si la diferencia sería demasiado improbable bajo la asignación prevista.
Diagnóstico de causa
Investiga targeting, logging, exposición, filtros y fallos diferenciales.
Política de confianza
Define cuándo el experimento debe detenerse, corregirse o descartarse.
Cómo trabajar con Sample Ratio Mismatch
Chequeá SRM temprano
Incluí el control antes de interpretar lifts o significancia de negocio.
Compará con el ratio configurado
No asumas siempre 50/50; usá la asignación real prevista.
Segmentá el problema
Buscá si el desbalance aparece en una plataforma, versión, país o ventana específica.
Auditá el pipeline
Revisá desde randomización y exposición hasta eventos y filtros analíticos.
No decidas con datos sospechosos
Si el SRM no se explica y corrige, tratá los resultados como no confiables.
Ejemplo de Sample Ratio Mismatch
Un A/B Test configurado 50/50 registra 1.000.000 de usuarios en control y 1.050.000 en tratamiento. Con ese tamaño, una diferencia del 5% puede ser demasiado improbable para el reparto esperado y activar una señal de SRM, aunque el ratio visual parezca «casi equilibrado».
Errores frecuentes al trabajar con Sample Ratio Mismatch
Mirar solo el porcentaje
El mismo desbalance relativo puede ser normal en muestras pequeñas y altamente anómalo en muestras enormes.
Confundir SRM con causa raíz
La prueba señala un problema potencial; no dice si la causa está en randomización, producto o datos.
Seguir analizando como si nada
Un SRM no resuelto puede invalidar la comparabilidad entre variantes.
Preguntas frecuentes sobre Sample Ratio Mismatch
¿Qué significa SRM?
Sample Ratio Mismatch, una discrepancia estadísticamente anómala entre la proporción esperada y observada de unidades por variante.
¿Un reparto 51/49 siempre es SRM?
No. Depende del ratio esperado y del tamaño de muestra; hay que evaluar si la discrepancia es compatible con el azar.
¿Qué puede causar SRM?
Problemas de randomización, targeting, exposición, crashes, telemetría, filtros o pérdidas de datos que afectan de manera desigual a las variantes.
¿Se puede confiar en un experimento con SRM?
No debería usarse para decisiones hasta investigar y resolver la causa o justificar rigurosamente por qué la señal no compromete la comparación.
Fuentes y referencias sobre Sample Ratio Mismatch
Microsoft Research · Sample Ratio Mismatch · Explica el diagnóstico del desbalance de asignación y su efecto sobre la validez experimental.
Microsoft Learn · Analyze experiments · Documentación para interpretar resultados y controles de calidad de experimentos.
Términos relacionados