¿Qué es el MDE?
MDE (Minimum Detectable Effect o efecto mínimo detectable) es el tamaño de efecto que un diseño experimental está planificado para detectar con una potencia estadística y un nivel de significancia definidos. Se usa antes del experimento para determinar cuánta muestra o tiempo hacen falta para que un efecto de esa magnitud tenga una probabilidad alta de ser detectado.
Qué significa MDE
MDE significa Minimum Detectable Effect o efecto mínimo detectable. En el diseño de un experimento, representa el tamaño de efecto para el que queremos que el test tenga una potencia estadística determinada.
Por ejemplo, si un experimento se planifica con 80% de potencia para detectar una mejora de al menos 5%, ese 5% funciona como MDE. Si el efecto real fuera de esa magnitud, el procedimiento tendría aproximadamente la potencia especificada para rechazar la hipótesis nula bajo los supuestos del cálculo.
Esto no significa que efectos menores no existan ni que sea imposible observarlos. Significa que el experimento no fue dimensionado para detectarlos con la misma probabilidad.
El MDE sí es
- Un parámetro de planificación previo al experimento.
- Una medida de sensibilidad estadística.
- Una entrada habitual del cálculo de tamaño de muestra.
- Un vínculo entre relevancia práctica, potencia y costo experimental.
El MDE no es
- El efecto que necesariamente va a producir la variante.
- El efecto más pequeño que puede existir en la realidad.
- Sinónimo de significancia estadística.
- Una propiedad fija del experimento independiente de muestra y supuestos.
Para qué sirve el MDE
El MDE convierte una pregunta abstracta —“¿cuánta muestra necesito?”— en una decisión vinculada al tamaño de efecto que vale la pena detectar. Optimizely lo usa precisamente para conectar costo, tráfico, duración y sensibilidad del experimento.
Un experimento diseñado para detectar cambios muy pequeños necesita normalmente mucho más tráfico que otro que sólo busca detectar cambios grandes. Por eso el MDE ayuda a decidir si la pregunta experimental es compatible con los recursos disponibles.
Estimar muestra
Permite calcular cuántas unidades se necesitan para alcanzar una potencia objetivo bajo un nivel de significancia definido.
Estimar duración
Conociendo tráfico o volumen elegible, la muestra requerida puede transformarse en una duración aproximada del experimento.
Evaluar viabilidad
Si detectar el efecto relevante exige meses de tráfico, quizá el test no sea viable en esa métrica o población.
Conectar estadística y negocio
Obliga a definir qué magnitud sería suficientemente importante como para justificar una decisión.
Cómo se relacionan MDE, potencia, α y tamaño de muestra
El MDE no se elige de forma aislada. Forma parte de una relación entre tamaño de efecto, varianza, nivel de significancia, potencia y tamaño de muestra. Las fórmulas exactas dependen de la métrica y del test, pero la dirección general es estable.
| Cambio | Efecto habitual sobre la muestra requerida | Por qué |
|---|---|---|
| MDE más pequeño | Aumenta | Detectar efectos pequeños exige distinguir señales más débiles del ruido. |
| Potencia más alta | Aumenta | Se exige mayor probabilidad de detectar el efecto si realmente existe. |
| α más pequeño | Aumenta | El criterio para declarar evidencia contra H₀ se vuelve más estricto. |
| Mayor variabilidad | Aumenta | Más ruido dificulta separar el efecto real de fluctuaciones muestrales. |
| Asignación muy desbalanceada | Suele aumentar el total necesario | Para una comparación simple, repartir muestra de forma muy desigual suele reducir eficiencia estadística. |
En muchos escenarios simples, el tamaño de muestra crece aproximadamente con el inverso del cuadrado del efecto que se desea detectar. Esa es la razón por la que bajar mucho el MDE puede disparar la muestra necesaria.
Optimizely muestra el mismo patrón en sus cálculos: al mantener otros parámetros, reducir el MDE aumenta de forma pronunciada la muestra por variante.
MDE absoluto vs. MDE relativo
El efecto mínimo detectable puede expresarse en términos absolutos o relativos. Confundirlos puede producir errores grandes de planificación.
| Forma | Ejemplo con baseline de 10% | Interpretación |
|---|---|---|
| MDE absoluto | +0,5 puntos porcentuales | Detectar un cambio de 10% a 10,5%. |
| MDE relativo | +5% | Detectar una mejora equivalente al 5% del valor base: también de 10% a 10,5%. |
Optimizely especifica que su configuración de Frequentist Fixed Horizon utiliza mejora relativa: un MDE de 10% sobre una conversión base de 5% apunta a detectar una conversión aproximada de 5,5%, no de 15%.
Por eso nunca conviene copiar un “MDE de 5%” entre herramientas sin verificar si la plataforma espera cambio absoluto, relativo o una escala estandarizada.
MDE, efecto observado y significancia estadística
Estos conceptos están relacionados, pero pertenecen a momentos distintos del experimento.
| Concepto | Momento | Qué representa |
|---|---|---|
| MDE | Antes del experimento | El tamaño de efecto para el que se dimensiona la sensibilidad del diseño. |
| Efecto observado | Después de recolectar datos | La diferencia estimada entre tratamiento y control en la muestra. |
| Significancia estadística | Durante el análisis | El resultado de un procedimiento inferencial respecto de una hipótesis nula y un umbral definido. |
Un efecto observado puede ser menor que el MDE. Eso no demuestra que sea cero: indica que el diseño planificado tenía menos capacidad para detectar de forma confiable un efecto de esa magnitud. El intervalo de confianza ayuda a mostrar qué tamaños de efecto siguen siendo compatibles con los datos.
También puede ocurrir lo contrario: observar un efecto mayor que el MDE y alcanzar evidencia suficiente antes de lo esperado. Optimizely recomienda tratar el MDE como una herramienta de planificación, no como una predicción del lift real.
Cómo elegir un MDE razonable
Elegir el MDE sólo para que el experimento “entre” en el tráfico disponible invierte la lógica. Un MDE útil debería conectar relevancia práctica, plausibilidad y capacidad experimental.
Definí el efecto mínimo relevante
Preguntá qué magnitud justificaría cambiar producto, campaña, precio, proceso o inversión. Un efecto estadísticamente detectable puede ser demasiado pequeño para importar.
Revisá efectos plausibles
Usá experimentos anteriores, benchmarks internos o mecanismos esperados para evitar diseñar alrededor de un lift irreal.
Calculá la muestra
Combiná MDE con baseline, varianza, α, potencia, número de variantes y asignación para conocer la muestra requerida.
Evaluá viabilidad
Convertí la muestra a tiempo real usando tráfico elegible y comprobá si el costo de esperar ese resultado tiene sentido.
Rediseñá si no cierra
Podés reducir variantes, elegir una métrica menos ruidosa, ampliar audiencia elegible o probar un cambio con mayor efecto plausible. Inflar artificialmente el MDE no mejora el experimento.
Ejemplo de MDE en un experimento
Supongamos que un checkout convierte al 10% y que el equipo considera relevante detectar una mejora relativa de al menos 5%. Ese MDE relativo equivale a pasar aproximadamente de 10% a 10,5%: una mejora absoluta de 0,5 puntos porcentuales.
El equipo fija además un nivel de significancia y una potencia objetivo y calcula la muestra necesaria para ese efecto. Si el tráfico es insuficiente para completar el test en un horizonte razonable, tiene varias opciones: aceptar que no puede resolver esa pregunta con la sensibilidad deseada, diseñar una intervención con mayor efecto plausible, usar una métrica más eficiente o aumentar el universo elegible.
Lo que no debería hacer: cambiar el MDE de 5% a 20% sólo para obtener una muestra cómoda si un lift del 20% no es realista. El experimento quedaría rápido, pero poco informativo respecto de los efectos que verdaderamente importan.
La relación puede ser muy fuerte: en un ejemplo publicado por Optimizely con baseline de 10% y significancia de 95%, reducir el MDE relativo de 10% a 5% aumenta la muestra estimada por variante de 12.243 a 59.401; bajarlo a 3% la eleva a 185.661. Los valores concretos dependen del método, pero ilustran bien el costo de sensibilidad.
Errores frecuentes al usar MDE
Interpretarlo como el lift esperado
El MDE define sensibilidad planificada. El efecto verdadero es desconocido y el observado se estima después de obtener datos.
Elegirlo sólo para reducir la muestra
Un MDE artificialmente grande puede hacer que el experimento ignore efectos pequeños pero económicamente importantes.
Confundir relativo con absoluto
Un 5% relativo sobre un baseline de 10% equivale a 0,5 puntos porcentuales, no a cinco puntos.
Pensar que un efecto menor al MDE es “cero”
Puede existir un efecto real menor; el problema es que el diseño tiene menos potencia para detectarlo con la muestra prevista.
Ignorar relevancia práctica
El efecto mínimo detectable debería dialogar con el efecto mínimo que valdría la pena actuar, no sólo con lo que la estadística permite detectar.
Olvidar que el método importa
La relación exacta entre MDE y muestra depende de la métrica, test, varianza, asignación, multiplicidad y supuestos estadísticos.
Preguntas frecuentes sobre MDE
¿Qué es el MDE?
MDE significa Minimum Detectable Effect o efecto mínimo detectable. Es el tamaño de efecto que un experimento está diseñado para detectar con una potencia estadística y un nivel de significancia definidos.
¿Un MDE más pequeño es siempre mejor?
No. Un MDE más pequeño hace al experimento más sensible a efectos pequeños, pero normalmente exige más muestra, más tiempo o menor variabilidad. Debe elegirse según relevancia de negocio, tráfico disponible y costo de oportunidad.
¿Cuál es la diferencia entre MDE y efecto observado?
El MDE es un parámetro de planificación definido antes del experimento. El efecto observado es la diferencia estimada después de recolectar los datos. No tienen por qué coincidir.
¿MDE y significancia estadística son lo mismo?
No. El MDE define la sensibilidad planificada del diseño. La significancia estadística es una propiedad del resultado observado bajo un contraste y umbral determinados. Un experimento puede observar un efecto menor que el MDE, pero no haber tenido suficiente potencia para detectarlo de forma confiable con la muestra prevista.
¿El MDE puede expresarse como cambio absoluto o relativo?
Sí. Un MDE absoluto se expresa en unidades o puntos porcentuales; uno relativo se expresa como porcentaje respecto del baseline. La plataforma o fórmula utilizada debe especificar cuál espera.
¿Cómo se elige un MDE razonable?
Conviene partir del efecto mínimo que sería relevante para la decisión, revisar qué tamaños de efecto son plausibles según datos previos y comprobar si el tráfico disponible permite detectarlo con la potencia y significancia deseadas.
Referencias clave
Optimizely. Use minimum detectable effect when you design an experiment. Explica MDE como herramienta para conectar sensibilidad, muestra, tráfico y duración experimental.
Optimizely. Sample size calculations for A/B tests and experiments. Desarrolla la relación entre MDE, α, β, varianza y tamaño de muestra.
Optimizely. Frequentist (Fixed Horizon) statistics. Sitúa MDE dentro de los parámetros de planificación de tests de horizonte fijo.
ScienceDirect. Sample size. Resume MDE como el efecto más pequeño que un estudio puede detectar a un nivel definido de potencia y su relación inversa con el tamaño muestral.