Un A/B Test es un experimento controlado que distribuye a los usuarios al azar entre dos versiones de una experiencia y mide cuál produce un mejor resultado en una métrica definida de antemano. Es el método estándar para validar cambios con evidencia causal.
¿Qué es un A/B Test?
Un A/B Test —también llamado prueba A/B o split test— es un método de experimentación que permite tomar decisiones con evidencia causal en lugar de opiniones. La pregunta que estructura cada test siempre tiene la misma forma: si cambio X, ¿mejora Y?
Para responderla se divide a los usuarios al azar en dos grupos que corren en paralelo. El grupo A recibe la versión de control (la actual) y el grupo B recibe la variante modificada. Ambos quedan expuestos al mismo tiempo, sobre tráfico comparable, y se mide una única métrica objetivo definida antes del lanzamiento. El resultado no es una preferencia ni una intuición: es una diferencia medible entre dos comportamientos reales.
El origen metodológico está en Ronald A. Fisher, que en los años veinte formalizó el diseño de experimentos aleatorizados para ensayos agrícolas. La adaptación al mundo digital la consolidó Ronny Kohavi en Microsoft y Amazon, cuyo libro Trustworthy Online Controlled Experiments (2020) es la referencia canónica del campo. Kohavi insiste en un punto que suele olvidarse: la mayoría de las ideas que los equipos están seguros de que van a ganar, no ganan. La intuición del marketer experimentado no vence a la evidencia del experimento.
La asignación aleatoria y una ejecución adecuada permiten estimar el efecto de una intervención sobre la métrica elegida. No garantizan que cada característica quede idéntica entre grupos: reducen diferencias sistemáticas bajo el diseño. Una comparación antes/después no construye por sí sola ese contraste. Hay que revisar exposición, medición, seguimiento, interferencias e incertidumbre antes de interpretar el resultado.
Un resultado útil registra la diferencia estimada, su incertidumbre, la relevancia práctica y la decisión que permite tomar. Puede sugerir mejora, deterioro o seguir siendo inconcluso. La conclusión conserva su población, intervención, métrica y seguimiento; transferirla a otro contexto requiere justificarlo.
Lisandro IserteQué es y qué no es
La denominación "A/B Test" se aplica con frecuencia a cosas que no lo son. Distinguir el método del impostor evita decisiones tomadas con evidencia falsa.
Un A/B Test es
- Una asignación aleatoria de usuarios a dos versiones que corren en paralelo
- Una métrica única definida antes del lanzamiento, no después de ver datos
- Una hipótesis falseable: predice qué cambio espera ver y por qué
- Una decisión con regla previa: ganador, perdedor o sin diferencia
Un A/B Test no es
- Comparar el mes actual contra el anterior — eso es un análisis antes/después contaminado
- Lanzar dos versiones a audiencias distintas (una grupo, otra otro segmento)
- Cambiar varios elementos a la vez y atribuir el resultado a uno
- Detener el test cuando el resultado conviene (peeking)
Los 7 componentes clave de un experimento
Los siguientes componentes ayudan a documentar un experimento. El diseño concreto depende de la pregunta, la unidad experimental, el resultado y las condiciones de ejecución; siete es la organización de esta explicación, no una taxonomía universal.
Pregunta de negocio
El punto de partida no es "quiero testear el botón", sino "quiero entender qué fricción está reduciendo la conversión en el checkout". La pregunta define qué vale la pena testear y qué no.
Hipótesis falseable
Una afirmación que puede resultar falsa: "cambiar el copy del CTA de 'Comprar' a 'Empezar gratis' va a aumentar el click-through porque reduce la percepción de compromiso inmediato". Sin hipótesis no hay aprendizaje posible, aunque el test gane.
Variable independiente
El cambio deliberado entre A y B puede ser un elemento o un conjunto de cambios. Un A/B Test aleatorizado y bien ejecutado estima el efecto del conjunto; no separa el aporte de cada componente ni sus interacciones. Para aislarlos hacen falta comparaciones adicionales o un diseño factorial. Ver los errores frecuentes del A/B testing básico.
Variable dependiente
La métrica que se va a medir: tasa de conversión, revenue por visita, retención o una microconversión intermedia. Se define antes del lanzamiento, no después de ver los resultados.
Población y unidad de asignación
¿Se asigna por usuario, por sesión, por dispositivo o por cuenta? Elegir mal genera contaminación entre grupos y resultados imposibles de interpretar. Por usuario es el default para la mayoría de los casos en digital.
Ventana de medición
Definí la ventana de resultado desde la asignación y el horizonte de ejecución. El tamaño requerido y la velocidad de incorporación condicionan el calendario, junto con los ciclos relevantes y el seguimiento completo. No hay una duración universal. Si una incidencia exige detener la prueba, se documenta el motivo y se revisa qué análisis sigue siendo defendible.
Regla de decisión
El criterio predefinido para declarar ganador, perdedor o sin diferencia. Sin esta regla, el test termina cuando el analista quiere, que suele ser cuando el resultado conviene. Eso no es un experimento: es una confirmación.
Tipos de A/B Test
La denominación "A/B Test" agrupa tres modalidades distintas con lógicas, costos y riesgos diferentes. Elegir la correcta depende del volumen de tráfico disponible y de la complejidad de la pregunta de negocio.
Control contra una variante. La forma más simple, más rápida de ejecutar y más fácil de interpretar. Para la mayoría de los casos reales en marketing digital y e-commerce, resuelve la pregunta sin agregar complejidad innecesaria.
- Lectura directa del resultado
- Tráfico requerido moderado
- Ejecución rápida
- Compara sólo dos alternativas
- No separa interacciones entre componentes
Varias variantes contra un control. Útil cuando hay múltiples hipótesis para validar en paralelo, pero exige más volumen y más disciplina interpretativa para evitar falsos positivos por comparaciones múltiples.
- Valida N hipótesis a la vez
- Encuentra mejores variantes más rápido
- Tráfico requerido crece con cada variante
- Riesgo de falsos positivos
- Ajuste por comparaciones múltiples
Prueba combinaciones de múltiples elementos para estimar sus efectos e interacciones. Potente, pero requiere mucho tráfico y una infraestructura de medición sólida. Rara vez es la primera elección. El multivariate testing aplicado se desarrolla en el cluster de Rendimiento con casos prácticos.
- Detecta interacciones entre elementos
- Optimiza combinaciones complejas
- Tráfico requerido crece multiplicativamente
- Interpretación exige estadística rigurosa
- Resultados más difíciles de comunicar
En los equipos con los que trabajo, ejecutar pruebas A/B es parte del día a día. Lo que cambió en los últimos años es la velocidad: hoy usamos IA para generar avatares digitales que producen versiones casi idénticas de un video con variaciones de tono o énfasis. Lo que antes requería una producción completa, ahora es un test que corre en paralelo sin fricción operativa.
Lisandro IserteCómo ejecutarlo bien (y los errores comunes)
Toda buena ejecución empieza antes del lanzamiento. Definir por escrito la hipótesis, la métrica primaria, las métricas guardrail —las que no deben empeorar—, la duración mínima y la regla de decisión. Calcular el tamaño de muestra con una calculadora antes de empezar: sin ese cálculo, el test corre a ciegas.
Durante la ejecución, respetá el horizonte y la regla de análisis definidos antes de observar resultados. La duración debe cubrir los ciclos relevantes y permitir el seguimiento necesario; no existe una semana o cantidad de semanas que sirva para cualquier prueba. Al cerrar, documentá contexto, hipótesis, efecto estimado, incertidumbre y decisión. No detectar una diferencia no demuestra igualdad.
Los errores de asignación, medición y análisis pueden volver engañoso un resultado. Para aplicar la distinción entre señal secundaria, resultado principal y capacidad operativa, la guía para testear una hipótesis de posicionamiento muestra un caso con más solicitudes, incertidumbre sobre las solicitudes calificadas y una decisión de despliegue condicionada. Para decidir sobre una condición comercial, la guía de experimentación de precios compara métodos y muestra por qué conversión y aporte económico pueden llevar a lecturas distintas.
Cambiar varias cosas y atribuir el resultado a una sola
Si se modifican el copy, el color y la imagen al mismo tiempo, un A/B Test bien ejecutado estima el efecto conjunto sobre la métrica. El error es atribuirlo a uno de esos elementos: para separar sus aportes o interacciones hacen falta comparaciones adicionales o un diseño factorial.
Mover los objetivos en el medio
Cambiar la métrica primaria, el segmento o el tracking durante la prueba puede alterar la pregunta y la comparabilidad de los datos. Documentá qué cambió y desde cuándo; revisá si corresponde separar un análisis exploratorio, reparar medición o iniciar una nueva prueba. No sustituyas silenciosamente el criterio original por el que produce un resultado favorable.
Cortar por impulso (peeking)
Con un análisis de horizonte fijo, mirar el resultado y detener la prueba cuando una variante supera el criterio de significancia altera el error previsto. La regla de análisis y parada se fija antes de observar los resultados; no se cambia para obtener una conclusión conveniente.
Superponer tests sin revisar su compatibilidad
Compartir audiencia y punto del funnel no invalida por sí solo dos experimentos. Con asignaciones independientes pueden ejecutarse en paralelo, pero hay que revisar colisiones técnicas e interacciones: un cambio puede alterar el efecto del otro. Si ese riesgo es relevante, coordiná las pruebas, analizá las combinaciones o aislá las audiencias. La independencia de asignación no garantiza que cualquier combinación sea segura.
No documentar el aprendizaje
Si el resultado no queda escrito como aprendizaje reutilizable —qué se testeó, por qué, qué pasó, qué se decidió— el costo del test no se recupera nunca. Un repositorio de tests fallidos vale tanto como uno de ganadores.
Preguntas frecuentes sobre el A/B Test
¿Qué es un A/B Test?
Un A/B Test compara una versión de control y una variante mediante asignación aleatoria a unidades experimentales, como personas o cuentas. Con ejecución y análisis adecuados permite estimar el efecto de la intervención sobre una métrica principal previamente definida, junto con su incertidumbre y métricas de protección. El resultado puede apoyar una mejora, mostrar deterioro o ser inconcluso.
¿Cuándo tiene sentido hacer un A/B Test?
Tiene sentido cuando existe una pregunta que puede contrastarse mediante asignación adecuada, medición confiable y recursos para obtener precisión útil. El volumen necesario depende del resultado y del diseño; llegar a significancia no es un objetivo garantizado. Con pocos casos, evaluá qué incertidumbre podés reducir y si otra forma de investigación responde mejor a la decisión.
¿Cuál es la diferencia entre A/B Test y test multivariante?
Un A/B Test compara dos versiones que pueden diferir en un elemento o en un conjunto de cambios. Estima el efecto de la alternativa completa, sin separar los aportes individuales ni sus interacciones. Un test multivariante prueba combinaciones de varios elementos para estimar esos efectos e interacciones; suele requerir más tráfico y un diseño y análisis adecuados.
¿Cuántos usuarios necesito para que un A/B Test sea válido?
Para comparar tasas, el cálculo suele considerar tasa de referencia, diferencia mínima relevante, nivel de error, potencia deseada y reparto entre grupos. También debe respetar la unidad de asignación, dependencia y posibles pérdidas de seguimiento. Para métricas continuas importa su variabilidad. No hay un número universal ni basta indicar sólo un nivel de confianza: documentá los supuestos del cálculo antes de comenzar.
¿Qué es el peeking en A/B testing y por qué es problemático?
El problema aparece cuando se usa repetidamente un análisis previsto para un cierre fijo y se detiene al alcanzar un resultado favorable. Eso altera el error del procedimiento. No existe un porcentaje de inflación universal: depende de la regla, la frecuencia de análisis y el diseño. Revisar calidad o detener por una incidencia no equivale a declarar una variante ganadora; documentá el motivo y sus consecuencias analíticas.
Tu lectura cuenta
¿Te resultó útil esta información?
Tu respuesta me ayuda a mejorar los contenidos.
Gracias por contármelo.
Si querés seguir aprendiendo, dejame tus datos y elegí qué contenidos te interesan.
Dejar mis datos e intereses
Referencias clave
- Kohavi, R., Tang, D. & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing
. Cambridge University Press.
- Fisher, R. A. (1935). The Design of Experiments
. Oliver & Boyd.
- Siroker, D. & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers
. Wiley.
- Goodson, M. (2014). Most Winning A/B Test Results Are Illusory
. Harvard Business Review.
Resumen y fuente para consultar con IA
Un A/B Test es un experimento controlado que distribuye a los usuarios al azar entre dos versiones de una experiencia y mide cuál produce un mejor resultado en una métrica definida de antemano. Es el método estándar para validar cambios con evidencia causal.
Autor: Lisandro Iserte. Fuente original.
Estoy preparando cursos de marketing y branding. Podés pedir un aviso de lanzamiento.