¿Qué es la significancia estadística?
La significancia estadística es una clasificación producida por un procedimiento de contraste de hipótesis: un resultado se denomina estadísticamente significativo al nivel α cuando el test rechaza la hipótesis nula según la regla de decisión establecida; en un contraste basado en p-values, esto ocurre cuando p ≤ α. La clasificación depende del modelo, los supuestos y el diseño del análisis. No indica la probabilidad de que la hipótesis nula sea verdadera ni mide el tamaño del efecto, su importancia práctica o la probabilidad de replicación.
- ¿Qué es la significancia estadística?
- Qué es el p-value
- Qué es el nivel α
- Cómo interpretar p ≤ α
- Qué no significa
- Tamaño del efecto e importancia práctica
- Qué implica un resultado no significativo
- Por qué el umbral no debería decidir por sí solo
- Relación con experimentación y A/B testing
- Preguntas frecuentes
- Referencias clave
¿Qué es la significancia estadística?
En un contraste de hipótesis, “estadísticamente significativo” es una clasificación producida por una regla de decisión. No es una propiedad absoluta del efecto observado ni una medida de cuánto importa.
La clasificación depende de la hipótesis nula, el estadístico elegido, el modelo, los supuestos, el diseño y el nivel de significancia. Dos análisis distintos sobre datos similares pueden producir conclusiones diferentes si cambian esas decisiones.
Qué es el p-value
El p-value indica cuán incompatibles son los datos con un modelo estadístico especificado. En un test de hipótesis nula, puede expresarse como la probabilidad —suponiendo válido el modelo nulo— de obtener un resultado del estadístico de prueba tan extremo como el observado o más extremo, según la alternativa y la regla del test.
Un p-value pequeño indica mayor incompatibilidad entre los datos y el modelo nulo. No es la probabilidad de que la hipótesis nula sea verdadera y tampoco es la probabilidad de que los datos hayan ocurrido “por azar”.
Qué es el nivel de significancia α
El nivel de significancia α forma parte del procedimiento de prueba. Bajo las condiciones del test, se utiliza para controlar el riesgo de error tipo I: rechazar la hipótesis nula cuando es verdadera.
Un valor como 0,05 es una convención frecuente, no una ley universal. El umbral debería elegirse de acuerdo con el contexto, las consecuencias de los errores y el procedimiento inferencial, no porque 0,05 tenga un significado científico especial.
Cómo interpretar p ≤ α
En un procedimiento clásico basado en p-values, si p ≤ α, el resultado cruza el criterio definido por el test y se clasifica como estadísticamente significativo. En la terminología tradicional, se rechaza la hipótesis nula al nivel α.
La conclusión debe permanecer acotada: el resultado fue suficientemente incompatible con el modelo nulo para cruzar esa regla. De ahí no se deduce una probabilidad sobre la verdad de la hipótesis, el tamaño del efecto, su utilidad o su replicabilidad.
Qué no significa la significancia estadística
No es la probabilidad de que la hipótesis sea verdadera
Un p-value de 0,03 no significa que haya 97% de probabilidad de que exista un efecto.
No es la probabilidad de que el resultado sea “azar”
El p-value se calcula bajo un modelo especificado; no reparte probabilidades entre “efecto real” y “azar”.
No mide magnitud
Un efecto muy pequeño puede producir un p-value bajo si la estimación es suficientemente precisa.
No garantiza replicación
La reproducibilidad depende también del diseño, la población, la variabilidad, los sesgos, las decisiones analíticas y otros factores.
No corrige un mal diseño
Un p-value pequeño no transforma un estudio sesgado o un experimento mal planteado en evidencia causal válida.
Tamaño del efecto, incertidumbre e importancia práctica
La significancia estadística responde a una pregunta distinta de la magnitud del efecto. Para decidir si un resultado importa conviene examinar la estimación del efecto, su incertidumbre —por ejemplo mediante un intervalo compatible con el modelo— y las consecuencias reales de actuar sobre ese efecto.
Con muestras grandes, diferencias muy pequeñas pueden cruzar un umbral estadístico. Con datos poco precisos, un efecto potencialmente relevante puede no cruzarlo. Por eso una decisión de marketing, producto o negocio no debería apoyarse sólo en la etiqueta “significativo/no significativo”.
Qué implica un resultado no significativo
Que un resultado no sea estadísticamente significativo significa que el procedimiento no rechazó la hipótesis nula al nivel elegido. No demuestra que la hipótesis nula sea verdadera ni que el efecto sea exactamente cero.
La falta de significancia puede coexistir con mucha incertidumbre. Si la pregunta real es si dos alternativas son suficientemente parecidas, si un efecto es despreciable o si una nueva variante no es peor que otra más allá de un margen aceptable, hacen falta diseños y criterios de equivalencia o no inferioridad adecuados.
Por qué el umbral no debería decidir por sí solo
La American Statistical Association advierte que las conclusiones científicas, empresariales o de política pública no deberían basarse únicamente en si un p-value cruza un umbral específico. Un valor apenas a un lado u otro de α no crea una frontera súbita entre “evidencia” y “no evidencia”.
También importa cómo se generaron los datos, qué análisis se planificó, cuántas comparaciones se realizaron, qué tamaño de efecto es compatible con los datos y qué decisión debe tomarse.
La etiqueta “estadísticamente significativo” puede ser útil como resultado de una regla de test, pero es una descripción pobre si reemplaza la estimación, la incertidumbre y el contexto.
Relación con experimentación y A/B testing
La experimentación es un método más amplio de intervención y comparación. La significancia estadística es sólo una herramienta posible dentro del análisis de determinados diseños.
En un A/B test frecuentista con un procedimiento fijo, puede compararse un p-value con α. Otros enfoques utilizan reglas secuenciales, métodos bayesianos u otros criterios inferenciales. No conviene importar la regla p ≤ α a un diseño para el que no fue definida.
Para llevar estos conceptos a decisiones experimentales concretas, podés profundizar en cómo interpretar significancia estadística y p-values en experimentos.
Preguntas frecuentes
¿Qué es la significancia estadística?
La significancia estadística es una clasificación producida por un procedimiento de contraste de hipótesis: un resultado se denomina estadísticamente significativo al nivel α cuando el test rechaza la hipótesis nula según la regla de decisión establecida; en un contraste basado en p-values, esto ocurre cuando p ≤ α. La clasificación depende del modelo, los supuestos y el diseño del análisis. No indica la probabilidad de que la hipótesis nula sea verdadera ni mide el tamaño del efecto, su importancia práctica o la probabilidad de replicación.
¿Qué significa p < 0,05?
Significa que el p-value quedó por debajo de 0,05 bajo el modelo del test. Si α se había fijado en 0,05, el resultado cruza el criterio para rechazar la hipótesis nula en ese procedimiento. No significa que exista 95% de probabilidad de que el efecto sea real ni 5% de probabilidad de que el resultado se deba al azar.
¿Significancia estadística significa que un efecto es importante?
No. La significancia estadística no mide la magnitud ni la importancia práctica del efecto. Un efecto muy pequeño puede cruzar el umbral con suficiente precisión, y uno relevante puede no hacerlo si la incertidumbre es alta. Por eso conviene interpretar también la estimación del efecto, su incertidumbre y el contexto de decisión.
¿Un resultado no significativo prueba que no hay efecto?
No. No rechazar la hipótesis nula significa que el resultado no cruzó el criterio del test. Para sostener ausencia, equivalencia o no inferioridad se necesitan preguntas, márgenes y procedimientos adecuados, además de revisar la precisión de la estimación y los efectos compatibles con los datos.
¿Qué diferencia hay entre p-value y nivel de significancia?
El nivel de significancia α forma parte de la regla de decisión y controla el riesgo de error tipo I del procedimiento bajo sus supuestos. El p-value se calcula a partir de los datos y del modelo nulo. En un contraste clásico basado en p-values, se compara p con α para decidir si el resultado se clasifica como estadísticamente significativo.
¿Un p-value más pequeño significa un efecto más grande?
No. El p-value depende de la magnitud observada, la variabilidad, el tamaño de muestra, el diseño y el modelo del test. Dos estudios pueden tener p-values muy distintos y tamaños de efecto similares, o al revés. El tamaño del efecto debe estimarse y reportarse por separado.
Referencias clave
American Statistical Association (2016). Statement on Statistical Significance and P-Values.
Wasserstein, R. L. & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose.
Wasserstein, R. L., Schirm, A. L. & Lazar, N. A. (2019). Moving to a World Beyond “p < 0.05”.
NIST/SEMATECH. Critical values and p values.
Penn State STAT 200. Hypothesis Testing, Part 1.
Términos relacionados