14.2 Amenazas a la validez de los experimentos

Los conceptos de validez interna y externa discutidos en el Concepto clave 9.1 también son aplicables para estudios basados en datos experimentales y cuasi-experimentales. Se proporciona una explicación detallada de las amenazas particulares a la validez interna y externa de los experimentos, incluidos ejemplos. En consecuencia, el capítulo aborda una breve repetición de las amenazas.

Amenazas a la validez interna

1. Falta de aleatorización

   Si los sujetos no se asignan al azar al grupo de tratamiento, los resultados se contaminarán con el efecto de las características o preferencias individuales de los sujetos y no es posible obtener una estimación no sesgada del efecto del tratamiento. Se puede probar la asignación no aleatoria usando una prueba de significancia (prueba \(F\)) en los coeficientes en el modelo de regresión \[X_i = \beta_0 + \beta_1 W_{1i} + \dots +\beta_2 W_{ri} + u_i \ \ , \ \ i=1,\dots,n.\]

2. Incumplimiento del protocolo de tratamiento

   Si los sujetos no siguen el protocolo de tratamiento; es decir, algunos sujetos del grupo de tratamiento logran evitar recibir el tratamiento y/o algunos sujetos del grupo de control logran recibir el tratamiento (cumplimiento parcial), existe correlación entre \(X_i\) y \(u_i\) de manera que el estimador MCO del efecto promedio del tratamiento está sesgado. Si existen datos sobre ambos, el tratamiento realmente recibido (\(X_i\)) y la asignación aleatoria inicial (\(Z_i\)), la regresión IV de los modelos (14.1) y (14.2) es un remedio.

3. Desgaste

   El desgaste puede resultar en una muestra no seleccionada al azar. Si los sujetos abandonan sistemáticamente el estudio después de haber sido asignados al grupo de control o al grupo de tratamiento (sistemático significa que el motivo del abandono está relacionado con el tratamiento), habrá correlación entre \(X_i\) y \(u_i\). Por lo tanto, existe sesgo en el estimador de MCO sobre el efecto del tratamiento.

4. Efectos experimentales

   Si los sujetos humanos en el grupo de tratamiento y/o el grupo de control saben que están en un experimento, podrían adaptar su comportamiento de una manera que evite la estimación no sesgada del efecto del tratamiento.

5. Tamaños de muestra pequeños

   Como se sabe por la teoría de la regresión lineal, los tamaños de muestra pequeños conducen a una estimación imprecisa de los coeficientes y, por lo tanto, implican una estimación imprecisa del efecto causal. Además, los intervalos de confianza y la prueba de hipótesis pueden producir inferencias erróneas cuando el tamaño de la muestra es pequeño.

Amenazas a la validez externa

1. Muestra no representativa

   Si la población estudiada y la población de interés no son suficientemente similares, no existe justificación para generalizar los resultados.

2. Programa o política no representativa

   Si el programa o política para la población estudiada difiere considerablemente del programa (que se) aplicará a la(s) población(es) de interés, los resultados no se pueden generalizar. Por ejemplo, un programa a pequeña escala con poca financiación puede tener efectos diferentes a los de un programa ampliado ampliamente disponible que se implementa realmente. Existen otros factores como la duración y el alcance del seguimiento que deben considerarse aquí.

3. Efectos de equilibrio general

   Si las condiciones de mercado y/o ambientales no pueden mantenerse constantes cuando un programa válido internamente se implementa de manera amplia, la validez externa puede ser dudosa.