¿Qué es un Holdout Group?
Un Holdout Group o grupo de exclusión es un subconjunto asignado deliberadamente para no recibir una intervención, lanzamiento o conjunto de cambios durante un período, de modo que su comportamiento pueda compararse con el de unidades expuestas y ayudar a estimar efecto incremental.
Qué es Holdout Group
Puede funcionar dentro de un experimento puntual, pero el término suele ser especialmente útil cuando el grupo se mantiene fuera de múltiples tratamientos para medir impacto acumulado o de más largo plazo.
Para sostener una interpretación causal, el holdout debe definirse con una asignación comparable y protegerse de contaminación. Si personas del holdout reciben indirectamente el tratamiento, la diferencia entre grupos se diluye.
Qué define el concepto
Un Holdout Group o grupo de exclusión es un subconjunto asignado deliberadamente para no recibir una intervención, lanzamiento o conjunto de cambios durante un período, de modo que su comportamiento pueda compararse con el de unidades expuestas y ayudar a estimar efecto incremental.
Dónde está el límite
No es siempre sinónimo de control de un A/B Test. Un control puede representar la experiencia base de un experimento; un holdout puede reservarse durante más tiempo o frente a múltiples cambios para medir impacto acumulado.
Holdout Group: diferencias con conceptos cercanos
| Concepto | Diferencia clave |
|---|---|
| Holdout Group | Permanece no expuesto para estimar efecto incremental o acumulado. |
| Control group | Es la condición de referencia de un experimento específico. |
| Treatment group | Recibe la intervención cuyo efecto se quiere estimar. |
| Exclusion audience | Puede excluirse por razones operativas sin formar parte de un diseño causal comparable. |
Piezas conceptuales de Holdout Group
Asignación
Define qué unidades entran al holdout y bajo qué regla.
No exposición
El grupo debe quedar realmente fuera de las intervenciones evaluadas.
Comparador válido
La población comparada debe ser equivalente en expectativa.
Duración
Debe cubrir el horizonte en el que el efecto puede aparecer.
Métricas de impacto
Se eligen antes para cuantificar lift, daño o acumulación de efectos.
Cómo trabajar con Holdout Group
Definí qué se retiene
Aclarar si el holdout excluye una campaña, feature, programa o conjunto de lanzamientos.
Randomizá cuando sea posible
La asignación aleatoria fortalece la comparabilidad.
Protegé el grupo
Evitá exposiciones cruzadas que contaminen el contraste.
Medí suficiente tiempo
Alineá duración con latencia y estacionalidad de las métricas.
Revisá costo ético y comercial
Retener una mejora real tiene costo; el tamaño y duración deben justificarse.
Ejemplo de Holdout Group
Una empresa mantiene 2% de usuarios fuera de una serie de features lanzadas durante un trimestre. Compara ese holdout con una muestra equivalente de usuarios no retenidos para estimar el efecto acumulado de los lanzamientos sobre retención y compras.
Errores frecuentes al trabajar con Holdout Group
Usar un grupo no comparable
Excluir manualmente clientes especiales puede introducir sesgo y romper la interpretación causal.
Contaminar el holdout
Si recibe el tratamiento por otra vía, el contraste pierde fuerza.
Mantenerlo indefinidamente
La retención prolongada de mejoras puede aumentar costo operativo y perjudicar experiencia.
Preguntas frecuentes sobre Holdout Group
¿Para qué sirve un Holdout Group?
Para disponer de una referencia no expuesta que permita estimar impacto incremental o acumulado de una intervención o conjunto de cambios.
¿Es lo mismo que un grupo control?
Puede cumplir un rol parecido, pero un holdout suele reservarse explícitamente frente a uno o varios tratamientos y puede durar más que un experimento puntual.
¿Debe ser aleatorio?
Para inferencia causal, la asignación aleatoria es preferible porque mejora la comparabilidad en expectativa.
¿Cuánto debe durar?
Depende del efecto que se quiere medir, la latencia de la métrica y el costo de retener la intervención.
Fuentes y referencias sobre Holdout Group
Statsig Docs · Holdouts · Describe holdouts para medir el impacto acumulado de experimentos y lanzamientos comparando usuarios retenidos con una muestra del resto.
Microsoft PlayFab · Experiments Best Practices · Explica la importancia de grupos comparables y controles de calidad para confiar en resultados experimentales.
Términos relacionados