¿Qué es la experimentación bayesiana?
La experimentación bayesiana es un enfoque de análisis experimental que combina una distribución previa sobre parámetros o efectos con los datos observados para obtener una distribución posterior, que resume cómo cambia la incertidumbre sobre esos parámetros después de ver la evidencia.
Qué es Experimentación bayesiana
En vez de formular la pregunta únicamente en términos de cuán compatibles son los datos con una hipótesis nula, permite expresar probabilidades posteriores sobre magnitudes o comparaciones, por ejemplo la probabilidad de que una variante supere al control.
El resultado depende del modelo, del likelihood y del prior elegido. En algunos sistemas se usan priors poco informativos; en otros, información histórica. Ser bayesiano no convierte un experimento mal randomizado o mal instrumentado en confiable.
Qué define el concepto
La experimentación bayesiana es un enfoque de análisis experimental que combina una distribución previa sobre parámetros o efectos con los datos observados para obtener una distribución posterior, que resume cómo cambia la incertidumbre sobre esos parámetros después de ver la evidencia.
Dónde está el límite
No es un tipo de A/B Test. A/B describe el diseño de comparación; bayesiano describe un marco de inferencia que puede usarse para analizar ese diseño.
La regla de decisión también importa
Una probabilidad posterior depende del modelo, de la distribución previa y de los datos. Usar un análisis bayesiano no vuelve inocuas todas las reglas de parada ni garantiza una tasa frecuentista de falsos positivos: documentá qué decisión tomás y qué propiedades evaluaste.
FronterasExperimentación bayesiana: diferencias con conceptos cercanos
| Concepto | Diferencia clave |
|---|---|
| Experimentación bayesiana | Actualiza probabilidades sobre parámetros o hipótesis a partir de prior y datos. |
| Experimentación frecuentista | Evalúa propiedades de estimadores y pruebas bajo distribuciones muestrales repetidas. |
| A/B Test | Es un diseño experimental; puede analizarse con distintos marcos estadísticos. |
| Test secuencial | Define reglas válidas para análisis repetidos; puede existir dentro de marcos frecuentistas y otros enfoques. |
Piezas conceptuales de Experimentación bayesiana
Prior
Representa la incertidumbre sobre el parámetro antes de observar los datos actuales.
Likelihood
Modela qué datos son plausibles para distintos valores del parámetro.
Posterior
Combina prior y evidencia observada mediante la regla de Bayes.
Magnitud del efecto
La decisión debería considerar cuánto cambia la métrica, no solo qué variante tiene mayor probabilidad de ganar.
Regla de decisión
Define umbrales y costos para actuar, continuar o detener el experimento.
Cómo trabajar con Experimentación bayesiana
Definí el modelo
Especificá métrica, unidad de análisis, supuestos y distribución apropiada.
Elegí el prior conscientemente
Documentá si es informativo, débil o poco informativo y por qué.
Randomizá correctamente
El marco bayesiano no reemplaza un buen diseño experimental.
Leé la distribución posterior
Considerá probabilidad, magnitud del efecto e incertidumbre.
Vinculá decisión y riesgo
Definí qué nivel de evidencia justifica lanzar, iterar o descartar según los costos de error.
Ejemplo de Experimentación bayesiana
Una variante muestra mayor conversión que el control. El análisis bayesiano estima una probabilidad alta de que el lift sea positivo, pero también muestra una distribución posterior amplia. El equipo evalúa no solo «chance to beat» sino la probabilidad de superar un efecto mínimo comercialmente relevante.
Errores frecuentes al trabajar con Experimentación bayesiana
Reducirlo a «probabilidad de ganar»
La distribución posterior contiene más información que un único porcentaje.
Ocultar el prior
El prior forma parte del modelo y debe poder explicarse.
Ignorar diseño e instrumentación
Datos sesgados o asignación defectuosa siguen produciendo conclusiones defectuosas.
Preguntas frecuentes sobre Experimentación bayesiana
¿Qué actualiza el enfoque bayesiano?
Actualiza una distribución previa sobre parámetros o efectos usando los datos observados para obtener una distribución posterior.
¿Qué es un prior?
Es una representación de la incertidumbre sobre un parámetro antes de incorporar los datos actuales.
¿Bayesiano significa que puedo mirar resultados cuando quiera?
Depende del diseño y de la regla de decisión. La actualización bayesiana permite análisis continuos, pero la política de decisión debe estar definida para controlar riesgos operativos.
¿Es lo contrario de un A/B Test?
No. A/B es un diseño; bayesiano y frecuentista son marcos de inferencia que pueden analizarlo.
Fuentes y referencias sobre Experimentación bayesiana
Optimizely · Bayesian statistics · Explica prior, likelihood y actualización de creencias a medida que llega nueva evidencia.
Optimizely · Statistical analysis methods overview · Compara Bayesian, Frequentist Fixed Horizon y Sequential y muestra cómo cambia la interpretación de resultados.
Términos relacionados