De la teoría a la práctica: Fortaleciendo la integridad de la investigación con Prerregistro y Registered Reports


Juan David Leongómez PhD, MSc
jleongomez@unbosque.edu.co

ISHE Summer Institute 2025 · Valparaíso, Chile

📲 Acceso a las diapositivas en línea

https://jdleongomez.github.io/preregistration-and-RRs/

Panorama general

🧭 Estructura del taller

  1. Los desafíos para la credibilidad científica
    Crisis de replicación, prácticas cuestionables y estructuras de incentivos.

  2. Prerregistro
    Qué es, cómo funciona y por qué mejora la transparencia.

  3. Registered Reports (RR)
    Un modelo de revisión por pares que centra la atención en el diseño y el rigor.

Parte 1: Los desafíos para la credibilidad científica

P: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?

P: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?
R: 96%

P: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?
R: 96%

P: ¿Qué porcentaje de los hallazgos publicados en psicología son estadísticamente significativos?
R: 96%

https://shiny.jdl-svr.lat/PowerSimulate_ind_t_EN/

1.1 ¿Podemos confiar en la literatura?

Hay 2 opciones:

  1. Estudiamos efectos con >90% de potencia y >90% de probabilidad de ser verdaderos.

1.1 ¿Podemos confiar en la literatura?

Hay 2 opciones:

  1. Estudiamos efectos con >90% de potencia y >90% de probabilidad de ser verdaderos.
  2. Existe un sesgo de publicación masivo.

1.1 ¿Podemos confiar en la literatura?

  1. Existe un sesgo de publicación masivo (en múltiples disciplinas).


Fuente

1.2 El filtro de significancia

1.2 El filtro de significancia

1.1 millones de valores z investigación médica (1976–2019)
van Zwet & Cator (2021)


También en PLOS ONE

1.3 Amenazas a la replicabilidad científica

1.3 Amenazas a la replicabilidad científica

  1. 🧪 P-hacking
  • Probar múltiples análisis hasta obtener p < .05
  • Infla el error Tipo I
  1. 💡 HARKing
  • Hypothesising After Results are Known (formular hipótesis tras conocer los resultados)
  • Induce a error sobre la naturaleza de la prueba

1.3 Amenazas a la replicabilidad científica

  1. 💡 HARKing

1.3 Amenazas a la replicabilidad científica

  1. 📦 Sesgo de publicación
  • Las revistas prefieren resultados “positivos”
  • Los nulos van al cajón
  1. 📏 Baja potencia estadística
  • Muestras pequeñas → falsos negativos y efectos inflados

1.3 Amenazas a la replicabilidad científica

  1. 🔧 Flexibilidad en los flujos de análisis
  • Muchas formas de analizar → sesgo si no se preplanifica
  1. 🧠 Falta de prerregistro
  • No permite distinguir lo confirmatorio de lo exploratorio

1.3 Amenazas a la replicabilidad científica

  1. 🧾 Reporte inadecuado
  • Faltan métodos, versiones de software, etc.
  1. 📊 Reporte selectivo de resultados
  • Elegir medidas o momentos de evaluación post hoc

1.3 Amenazas a la replicabilidad científica

  1. 🔄 Datos/código no compartidos
  • Bloquea la replicación y la detección de errores
  1. 🌐 Incentivos culturales
  • Cultura de “publicar o perecer”
  • Las replicaciones y los nulos son subvalorados

1.3 Amenazas a la replicabilidad científica

Los cuatro jinetes del apocalipsis de la reproducibilidad

Parte 2: Prerregistro

2.1 ¿Qué es el prerregistro?

El prerregistro es especificar tu plan de investigación antes de realizar el estudio

2.1 ¿Qué es el prerregistro?

https://www.cos.io/initiatives/prereg

2.1 ¿Qué es el prerregistro?

¿En qué consiste?

  • Definir tu pregunta de investigación e hipótesis antes de recolectar datos
  • Especificar de antemano el diseño y el plan de análisis
  • Vincular claramente las hipótesis con los métodos y resultados previstos

2.1 ¿Qué es el prerregistro?

¿Por qué prerregistrar?

  • Aumenta la credibilidad al transparentar tus intenciones
  • Te ayuda a planear mejor y evitar “derivas” analíticas
  • Mantiene todas las decisiones de diseño y análisis en un solo lugar — ¡incluso antes de recolectar datos!

2.1 ¿Qué es el prerregistro?

¿Aún puedo explorar mis datos?

¡Claro! El prerregistro no prohíbe la exploración. Solo promueve claridad entre análisis confirmatorios y exploratorios

  • Puedes desviarte del plan. Solo sé explícito y explica por qué
  • La meta no es rigidez, sino transparencia

2.2 Beneficios clave del prerregistro

Efecto Descripción Citación
Transparencia Hipótesis y planes públicos Toth et al, 2019;​ Marsden et al, 2022;​ Ioannidis et al, 2022;​ Dewitte et al, 2021
Menos sesgo Favorece reportar nulos Toth et al, 2019;​ Marsden et al, 2022;​ Ioannidis et al, 2022;​ Waldron et al, 2022
Afirmaciones más claras Explorar ≠ Confirmar Toth et al, 2019;​ Dewitte et al, 2021;​ Waldron et al, 2022
Mayor calidad Incluye potencia, exclusiones, etc. Toth et al, 2019;​ Waldron et al, 2022;​ Ioannidis et al, 2022
Credibilidad Las desviaciones quedan explícitas Ioannidis et al, 2022;​ Dewitte et al, 2021;​ Waldron et al, 2022;​ Osborne et al, 2022
Revisión más fácil Quienes revisan conocen el plan Marsden et al, 2022;​ Toth et al, 2019
Mejor flujo de trabajo Obliga a planear temprano Dewitte et al, 2021;​ Osborne et al, 2022

2.3 ¡Hagamos un prerregistro!

Abre OSF Registries en una pestaña nueva → https://osf.io/registries

Nota: debes iniciar sesión. Si es necesario, crea una cuenta

2.3 ¡Hagamos un prerregistro! Paso 1

  • Una vez con sesión iniciada en OSF, ve a Registries
  • Puedes explorar registros para inspirarte
  • Para crear un prerregistro, haz clic en Add New

2.3 ¡Hagamos un prerregistro! Paso 2

  • Puedes vincular tu prerregistro a un proyecto OSF existente
  • Hay muchas plantillas según el tipo de estudio
  • Para este ejemplo, selecciona la plantilla AsPredicted.org

2.3 ¡Hagamos un prerregistro! Paso 3

  • Haz clic en Create draft para iniciar tu prerregistro

2.3 ¡Hagamos un prerregistro! Paso 4

  • Completa los siguientes campos:
    • Título
    • Descripción
    • Colaboradores (coautores/as)
    • Selección de Licencia
    • Áreas temáticas

2.3 ¡Hagamos un prerregistro! Paso 5

  • Indica si la recolección de datos ya comenzó
  • Describe claramente tu plan de estudio:
    • Cuanto más detalle, mejor
    • Para el tamaño muestral, incluye una justificación
      (Lakens, 2022)

2.3 ¡Hagamos un prerregistro! Paso 5 (continuación)

  • Indica si la recolección de datos ya comenzó
  • Describe claramente tu plan de estudio:
    • Cuanto más detalle, mejor
    • Para el tamaño muestral, incluye una justificación
      (Lakens, 2022)

2.3 ¡Hagamos un prerregistro! Paso 6

  • Revisa tu prerregistro y corrige errores
  • Cuando esté listo, haz clic en Register para finalizar

2.3 ¡Hagamos un prerregistro! Paso 7

  • Puedes dejar tu prerregistro público o ponerlo en embargo (liberación diferida)

2.3 ¡Hagamos un prerregistro!

Cada prerregistro recibe automáticamente una URL y un DOI para referencia permanente.

Para este taller, creé un ejemplo:


👉 Ver este prerregistro

2.4 Limitaciones y consideraciones

Parte 3: Registered Reports

3.1 ¿Cuál es la diferencia?

https://www.cos.io/initiatives/registered-reports

3.1 ¿Cuál es la diferencia?

  • Revisión por pares antes de recolectar datos
  • Aceptación en principio (IPA) → publicación garantizada
  • Métodos revisados por pares → diseños más sólidos

3.2 Beneficios clave

Table 1
Efecto Descripción Citación
Reduce el sesgo de publicación La aceptación se basa en el diseño, no en los resultados Chambers & Tzavella, 2021
Soderberg et al., 2021
Liu et al., 2025
Chin et al., 2021
Rigor metodológico La revisión temprana mejora el diseño y el plan de análisis Soderberg et al., 2021
Cook et al., 2019
2025
Lakens et al., 2024
Transparencia y reproducibilidad Protocolos y análisis preespecificados y abiertos Chambers & Tzavella, 2021
Liu et al., 2025
Nosek et al., 2014
Lakens et al., 2024
Menos prácticas cuestionables Limita prácticas como p-hacking y HARKing Nosek et al., 2014
Timming et al., 2021
Lakens et al., 2024
Manago et al., 2023
Retroalimentación temprana constructiva Comentarios expertos antes de recolectar datos Cook et al., 2019
2025
Kiyonaga et al., 2019
Promueve replicaciones/resultados nulos Publicación independientemente del resultado Chambers et al., 2020
Nosek et al., 2014
Lakens et al., 2024
Henderson et al., 2022

3.3 El modelo PCI RR

3.3 El modelo PCI RR

  • Peer Community In Registered Reports (PCI RR) es una plataforma gratuita y sin ánimo de lucro para revisar y recomendar Registered Reports.
  • Las personas autoras envían un manuscrito de Etapa 1 → reciben revisión por pares → tras la aceptación en principio (IPA) pueden:
  • Publicar la Etapa 2 en cualquiera de 100+ revistas compatibles con PCI RR
  • O usar solo la recomendación de PCI RR (gratuita, citable)
  • Ideal para quienes buscan:
  • Un proceso de revisión agnóstico a la revista
  • Más control sobre las opciones de publicación
  • Revisión abierta y transparente

3.3 El modelo PCI RR

Puedes conocer más sobre el proceso de envío y explorar informes de Etapa 1 y Etapa 2 en:

🔗 rr.peercommunityin.org

3.4 Tradicional vs. PCI RR

Revista tradicional

  • Envío directo a la revista
  • Proceso de revisión cerrado
  • La revista decide IPA y publicación
  • Pueden aplicar APCs (cargos por publicar)

PCI RR

  • Envío a la plataforma, no a una revista
  • Proceso de revisión transparente
  • Eliges la revista después de la aceptación en principio
  • Completamente gratis

3.5 Registered Reports: adopción en el mundo real

  • ✅ Más de 300 revistas ofrecen Registered Reports
  • 🧪 Usados en disciplinas desde psicología hasta ecología, medicina y economía
  • 💬 Apoyo creciente de financiadores e instituciones
  • 🌍 PCI RR ofrece una alternativa global y de acceso abierto

Fuentes: cos.io, PCIRR, Chambers & Tzavella, 2021

3.6 ¿Siempre son adecuados los Registered Reports?

  • No son ideales para estudios puramente exploratorios o de respuesta rápida
  • Pueden añadir tiempo de planificación y demoras por revisión
  • Pero la mayoría de estudios confirmatorios se benefician del modelo

3.7 Cómo empezar con Registered Reports

  1. Elige una revista o usa PCI RR
  1. Sigue la plantilla RR (p. ej., OSF, guías de revista)
  1. Envía tu manuscrito de Etapa 1 antes de recolectar datos
  1. Revisa según comentarios y recibe IPA
  1. Recolecta datos → envía Etapa 2 → publica con confianza

3.8 Efectos de los Registered Reports

¿Preguntas? ¿Comentarios?

Siéntete libre de preguntar, criticar o compartir tus experiencias.

Extra (si hay tiempo)

Resumen

  • Muchas amenazas a la replicabilidad son sistémicas — pero solucionables
  • El prerregistro ayuda a planear mejor, interpretar con claridad y construir credibilidad
  • Los Registered Reports realinean incentivos y reducen sesgos
  • Herramientas como OSF y PCI RR lo vuelven accesible y escalable

¡Gracias!




Juan David Leongómez PhD, MSc
jleongomez@unbosque.edu.co