MetaCiencia: Ciencia Abierta, Reproducibilidad y Transparencia

¿Cómo enfrentamos los retos de la ciencia?

Juan David Leongómez PhD, MSc
jleongomez@unbosque.edu.co

📲 Accede a las diapositivas en línea

Parte 1 · Los desafíos para la credibilidad científica

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

¿Cómo se crea conocimiento?

¿Si mi gato hace más pataletas, sueño más con empanadas?

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

¿Si mi gato hace más pataletas, sueño más con empanadas?

Ver script de R: falsos positivos

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

¿Si mi gato hace más pataletas, sueño más con empanadas?

Ver script de R: falsos positivos

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

¿Si mi gato hace más pataletas, sueño más con empanadas?

Ver script de R: falsos positivos

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

Ver script de R: distribución de valores p y poder estadístico

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

Ver script de R: distribución de valores p y poder estadístico

1.1 ¿Por qué es tan difícil generar conocimiento confiable?

https://shiny.jdl-svr.lat/PowerSimulate_corr_ES/

1.2 ¿Podemos confiar en la literatura?

Pregunta: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?

1.2 ¿Podemos confiar en la literatura?

Pregunta: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?
Respuesta: 96%

Bakker, Van Dijk y Wicherts (2012), Brzeziński (2023), Scheel, Schijen y Lakens (2021)

1.2 ¿Podemos confiar en la literatura?

La psicología necesita cansarse de ganar.

Haeffel (2022)

1.2 ¿Podemos confiar en la literatura?

Hay 2 opciones:

  1. Estudiamos efectos con >90% de potencia y >90% de probabilidad de ser verdaderos.
  2. Existe un sesgo de publicación masivo (en múltiples disciplinas).

1.3 El filtro de significancia

1.3 El filtro de significancia

1.2 millones de valores z investigación médica (1976–2019)
Barnett (2022), van Zwet & Cator (2021)



También en PLOS ONE

1.4 Amenazas a la replicabilidad científica

  1. 🧪 P-hacking
    • Probar múltiples análisis hasta obtener p < .05
    • Infla el error Tipo I
  2. 💡 HARKing
    • Hypothesising After Results are Known (formular hipótesis tras conocer los resultados)
    • Induce a error sobre la naturaleza de la prueba

1.4 Amenazas a la replicabilidad científica

💡 HARKing

1.4 Amenazas a la replicabilidad científica

  1. 📦 Sesgo de publicación
    • Las revistas prefieren resultados “positivos”
    • Los nulos van al cajón
  2. 📏 Bajo poder estadístico
    • Muestras pequeñas → falsos negativos y efectos inflados

1.4 Amenazas a la replicabilidad científica

Los cuatro jinetes del apocalipsis de la reproducibilidad

Parte 2 · ¿Por qué necesitamos una Ciencia Abierta?

2.1 Desafíos actuales

Acceso desigual al conocimiento y a la producción científica

2.1 Desafíos actuales

Acceso desigual al conocimiento y a la producción científica

2.1 Desafíos actuales

Acceso desigual al conocimiento y a la producción científica

Sociedades:

Western (Occidentales)

Educated (Educadas)

Industrialised (Industrializadas)

Rich (Ricas)

Democratic (Democráticas)

Henrich et al. (2010)

2.1 Desafíos actuales

Acceso desigual al conocimiento y a la producción científica

Ver script de R: maps de producción científica 2024

2.1 Desafíos actuales

Adicionalmente:

  • Crisis de replicación y resultados poco robustos

  • Incentivos que favorecen “resultados positivos” y novedad

  • Métodos opacos y bajo poder estadístico

2.1 Desafíos actuales

¿Qué espera y qué requiere la sociedad de la ciencia? ¿Qué estamos entregando?

2.1 Desafíos actuales

Datos/Muestras
Mismos Diferentes
Código/Análisis Mismos Reproducible Replicable
Diferentes Robusto Generalizable

2.2 Evidencias clave

¿Es “culpa de personas” y/o es sistémico?

¡En cualquier caso necesitamos cambiar prácticas y estructuras!

Parte 3 · Principios de la Ciencia Abierta

3.1 Más allá del Open Access

  • Open Access (con matices: gold/green/diamond, costos, waivers)
  • Open Data (datos FAIR, reutilización responsable)
  • Open Methods (protocolos, metadatos, decisiones analíticas)
  • Open Source (software libre, entornos reproducibles)
  • Open Peer Review (mayor escrutinio, trazabilidad)
  • Open Resources (formación y materiales abiertos)

3.1 Más allá del Open Access

Debemos abrir el proceso científico, no solo los PDFs.

3.2 Software libre y reproducibilidad

  • Entornos con R / Python y control de versiones
    | | | | |

  • Documentos reproducibles (Quarto, R Markdown)
    | | |

  • Repositorios abiertos (OSF, GitHub, Zenodo)
    | | |

Parte 4 · Soluciones: Prerregistro y Reportes Registrados

4.1 Prerregistro

¿Qué es el prerregistro?

  • Especificar antes del estudio:
    • Preguntas e hipótesis
    • Diseño y criterios (incluye exclusión/inclusión)
    • Plan de análisis (variables, modelos, decisiones)

Beneficios: transparencia, menor sesgo, claridad entre confirmatorio vs exploratorio.

4.1 Prerregistro

4.2 Reportes Registrados (Registered Reports - RRs)

¿Qué es un reporte registrado?

4.2 Reportes Registrados (Registered Reports - RRs)

Efectos

Ciencias biomédicas

Allen & Mehler (2019)

Psicología

Scheel et al (2021)

Parte 5 · De la teoría a la acción: Semillero MetaCiencia

5.1 ¿Qué es MetaCiencia?

Un espacio transdisciplinar para convertirnos en agentes de cambio.

5.2 Objetivos

Objetivo general: transformar prácticas científicas desde etapas tempranas de formación universitaria.

  1. Capacitar en herramientas y metodologías de investigación reproducible (software libre, prerregistro, RRs).
  2. Fomentar green OA, apertura de datos y documentación de procesos.
  3. Desarrollar productos y estrategias de divulgación y repositorios abiertos.
  4. Articular saberes (psicología, medicina, ciencias, diseño, etc.).
  5. Promover liderazgo estudiantil y cultura científica colaborativa.

5.3 ¿Por qué un semillero así?

MetaCiencia alinea formación (CTeI), integridad y apropiación social del conocimiento.

  • Colombia y sus universidades están quedadas en pensar en cómo mejorar la cultura científica.
  • Hay una brecha de formación en metaciencia y prácticas abiertas en pregrado y posgrado.
  • Iniciativas internacionales muestran que sí se puede integrar en currículos.
  • Oportunidad de posicionar a estudiantes y a la UEB en el ecosistema global.

5.4 ¿Quiénes pueden participar?

  • 🎓 Estudiantes (énfasis en pregrado) y profesionales de todas las áreas
  • 🌱 No se requiere experiencia previa en investigación
  • 🔎 Intereses:
    🧪 Ciencia 🧠 Filosofía 📊 Estadística 💻 Programación 📣 Comunicación y divulgación 🤝🏫 Colaboración con estudiantes de otras carreras y universidades

Principio MetaCiencia
Cuestiona la autoridad

¿Te interesa unirte a MetaCiencia?

Escanea el código QR y deja tus datos para recibir más información sobre el semillero.

¡Gracias!

¡Gracias!

Juan David Leongómez PhD, MSc
jleongomez@unbosque.edu.co