IESE Insight
¿Te fías de los datos? No los confíes a un único análisis
Un estudio en Nature a gran escala demuestra que los mismos datos, en manos de distintos investigadores, raramente arrojan una única respuesta.
Cuando los datos están sobre la mesa, tendemos a asumir que un análisis riguroso y fiable zanja el debate. En los últimos años, las ciencias sociales y del comportamiento han adoptado herramientas precisamente para reforzar esa credibilidad: informes registrados, estudios de replicación, controles de reproducibilidad… Todos buscan reducir sesgos y hallazgos azarosos.
Sin embargo, un estudio publicado en Nature, en el que participa el profesor del IESE Sebastian Hafenbrädl, demuestra que esa credibilidad tiene límites: un mismo conjunto de datos puede ofrecer distintas respuestas a una misma pregunta, no por la incompetencia de quien los analiza, sino por las numerosas decisiones técnicas justificables que cualquier analista debe tomar antes de llegar a una conclusión, desde cómo limpiar los datos hasta qué modelos estadísticos elegir, qué software emplear o cómo interpretar los resultados. Es lo que los investigadores denominan “variabilidad analítica”, y este estudio es el primero en medirla de forma sistemática a gran escala.
Cuando la mayoría no es suficiente
Para medir su impacto, los autores coordinaron 504 reanálisis de datos de 100 estudios previos en ciencias sociales y del comportamiento, con la participación de 457 investigadores independientes. Cada estudio fue reanalizado por al menos cinco analistas, que recibieron los mismos datos y la misma pregunta, pero con plena libertad para decidir cómo abordar el análisis.
Los resultados fueron llamativos. De los 504 análisis realizados, tres de cada cuatro (74%) llegaron a la misma conclusión que el estudio original. Pero eso no significa unanimidad: al analizar si todos los analistas de un mismo estudio coincidieron, la cifra cae a uno de cada tres (34%). Una cosa es que la mayoría coincida; otra, que ninguno discrepe.
Ni la experiencia ni el volumen de datos son la solución
El estudio comprobó que los analistas con mayor pericia estadística no coincidieron más entre sí que los menos experimentados, y que en estudios con muestras muy grandes la incertidumbre analítica persistió por igual. Donde sí se observaron diferencias fue en el tipo de diseño: los estudios experimentales, donde el investigador controla directamente las condiciones, mostraron mayor robustez que los observacionales, en los que se trabaja con datos ya existentes, como ocurre habitualmente en economía o sociología.
Para los investigadores, una cosa está clara: los datos no hablan por sí solos y un único análisis rara vez debería considerarse definitivo. Los resultados dependen no solo de la calidad de los datos, sino también de las decisiones que se toman durante el análisis.
Hacia una cultura de la evidencia más robusta
Para quienes toman decisiones estratégicas, toda cautela es poca ante el análisis único. Los autores proponen dos mecanismos para ganar seguridad antes de ejecutar una política o estrategia:
- Análisis multiverso. Explorar sistemáticamente múltiples combinaciones de decisiones analíticas para comprobar si el hallazgo se mantiene.
- Múltiples analistas. Encargar el análisis a varios equipos independientes. Si coinciden, la base para decidir es sólida; si divergen, se ha identificado una zona de incertidumbre antes de que impacte en la decisión.
En contextos de incertidumbre, la tentación es buscar respuestas rápidas apoyadas en datos. Este estudio recuerda que esos datos raramente ofrecen una única respuesta. Reconocer que existen alternativas analíticas es un acto de transparencia y rigor, no de duda. Las decisiones importantes se toman de manera más informada cuando se contrastan distintos enfoques razonables antes de dar un hallazgo por definitivo. La evidencia que llega a la mesa del directivo no debería ser la que salió de un único análisis, sino la que ha sobrevivido a varios.
TAMBIÉN PUEDE INTERESARTE:
