¿Por qué difieren tanto las encuestas entre sí?
En días recientes se han presentado encuestas que muestran resultados muy diferentes entre sí. En un extremo, por ejemplo, el periódico Reforma publicó el jueves pasado una encuesta en la que el candidato de las izquierdas, Andrés Manuel López Obrador (AMLO), aparecía sólo 4 puntos por debajo del candidato del PRI y del PVEM, Enrique Peña Nieto (EPN) (34% versus 38%). En el otro extremo, el periódico El Financiero publicó ese mismo día una encuesta de Indemerc-Harris que mostraba una brecha entre esos mismos dos candidatos de 24 puntos porcentuales (50% versus 26%), es decir, una diferencia de 20 puntos porcentuales con respecto a la de Reforma.
En los días posteriores a la difusión de estas dos encuestas se han publicado al menos otras 4 encuestas más y todas ellas han mostrado resultados intermedios. Por ejemplo, este lunes la encuesta de Buendía y Laredo para El Universal calculó una brecha de 16 puntos entre EPN y AMLO; un resultado similar obtuvo la empresa Con Estadística quien elaboró una encuesta para Radio Fórmula, mientras que la encuesta de Parametría mostró una brecha de sólo 13 puntos porcentuales. Este martes, la empresa Consulta-Mitofsky presentó sus resultados semanales y en su encuesta más reciente obtuvo una brecha de 14 puntos porcentuales entre las preferencias efectivas de AMLO y de EPN.
¿A quién creerle? ¿La diferencia es de 4, 13, 14, 16 ó 24 puntos porcentuales entre EPN y AMLO? ¿Por qué difieren tanto las encuestas entre sí? Estas son, entre otras, las preguntas que mucha gente que se hace y que a muchos los hacen dudar de la validez de estos instrumentos.
Hay muchas razones para que los resultados de una encuesta difieran de otras. Un factor importante, por ejemplo, es si la encuesta es en hogar o telefónica, lo cual, en este caso, no parece ser relevante porque al parecer todas ellas han sido realizadas en vivienda. Otra diferencia es si la pregunta es a viva voz, con boleta simulada o con boleta y urna simulada. Aquí no todas las empresas hacen explícita su metodología, aunque si sabemos que, por ejemplo, Consulta Mitofsky y Reforma usan boleta y urna simulada, lo cual, en principio, haría más creíbles sus resultados.
Otro factor que podría influir en los resultados es la tasa de rechazo a participar en la encuesta, la cual difiere enormemente entre las empresas encuestadoras (véase, por ejemplo, este cuadro comparativo). Este argumento ha sido utilizado, por ejemplo, por el investigador John Ackerman para descalificar los resultados de algunas encuestas con altas tasas de rechazo como las de Consulta Mitofsky (aunque sus tasas de rechazo no son muy distintas a las de Parametría, por ejemplo). Para que esto último fuese correcto, sin embargo, tendríamos que suponer que la gente que rechaza participar en la encuesta va a votar de forma diferente a los que sí aceptan participar en ella. Es posible que así sea, aunque es muy difícil poder hacer un juicio sobre el sentido del voto en ausencia de mayor información. En cualquier caso, me parece razonable que mucha gente crea (aunque sería sólo eso, una creencia) que una encuesta con una menor tasa de rechazo pueda captar mejor la intención de voto que una que presenta altas tasas de rechazo.
Más allá de estas posibles fuentes de discrepancia entre las encuestas, en este post me quiero referir a una dimensión en particular: el aspecto regional de las encuestas. Normalmente, las encuestas electorales son diseñadas para que sean representativas a nivel nacional. Sin embargo, en un país como México, con una marcada heterogeneidad regional en las preferencias electorales, quizás sería deseable que las encuestas también fueran representativas a nivel regional (es decir, con un tamaño de muestra por región que garantice que los resultados obtenidos en esa región sean un reflejo confiable de lo que se espera que pudiera pasar en dicha zona). Ahora bien, algunas encuestadoras publican resultados por región sin informarnos si su muestra está diseñada para ello. En este caso en particular, me quiero referir a dos casos concretos que pudieran ayudarnos a entender porque los resultados de algunas encuestas son tan distintos entre sí. Me refiero a los casos de la encuesta de Reforma y de Consulta Mitofsky. Cabe recordar que comparar estos casos resulta interesante por tratarse de una de las encuestas con resultados extremos y de una de las encuestas con resultados representativos de otro grupo de encuestas.
Vean aquí los resultados por región de la encuesta de Reforma:
(haz click para agrandar la imagen)
Y aquí los resultados por región de la encuesta de Consulta-Mitofsky (p.14):
(haz click para agrandar la imagen)
Cabe señalar que los datos de Consulta-Mitofsky por región son brutos (no efectivos) y que las definiciones de las regiones varían ligeramente entre las dos casas encuestadoras (de hecho, la única diferencia es que Consulta-Mitofsky incluye a Nayarit en la zona Norte, mientras que Reforma la incluye en la zona Centro-Occidente).
Para hacer las comparaciones entre los resultados de las dos encuestas, he preparado el siguiente cuadro el cual muestra las preferencias efectivas por región y encuestas, así como las diferencias entre las encuestas por candidato.
(haz click para agrandar la imagen)
El cuadro muestra algunos resultados interesantes.
Primero, los resultados por región en términos del puntero y del ordenamiento del resto de los candidatos tienden a coincidir en tres de las cuatro regiones: Norte, Bajío y Centro.
Segundo, la encuesta de Reforma revela mayores tasas de votación para Quadri en todas y cada una de las regiones. Quizá esto se deba a las distintas tasas de rechazo en las encuestas. Si este fuera el caso, ello implicaría que varios de los que no aceptan participar en las encuestas quizá piensan votar por este candidato. Si esto fuese correcto, se reforzaría la creencia de preferir encuestas con menores tasas de rechazo.
Tercero, los resultados en las regiones Bajío y Centro son bastante similares en las dos encuestas. De hecho, si uno ve las diferencias entre encuestas para EPN y AMLO en estas dos regiones, podrá notar que las diferencias en una región tienden a compensarse en la otra (+2.4 vs -1.9 para EPN y -3.2 vs. 2.6 para AMLO). Esto implica que, en general, estas dos regiones no explican la diferencia observada entre las dos encuestas.
Cuarto, una primera diferencia importante entre las dos encuestas aparece en la zona Norte. Aquí Consulta-Mitofsky le da 47% de intención de voto a EPN, mientras que Reforma sólo encuentra una preferencia de 39%, una diferencia de 8 puntos porcentuales. Exactamente lo contrario ocurre con AMLO: mientras que Reforma le da 24% de intención de voto, Consulta-Mitofsky sólo le otorga el 16.5%, una diferencia de 7.5 puntos porcentuales. ¿Cuál es el correcto? De nuevo, no lo sabemos. Sólo podemos mencionar que en estos estados norteños AMLO obtuvo en el 2006 rangos de votación que iban de 16% y 18.3% en Nuevo León y Chihuahua hasta el 35.7% y 43.1% en Zacatecas y Baja California Sur, por lo que es posible que el resultado de Consulta-Mitofsky de 16.5% esté subestimando la intención de voto por AMLO en esta región. Por otra parte, el resultado de Reforma, aunque más cercano al promedio de votación que obtuvo AMLO en la región en el 2006, quizá está sobreestimando su intención de voto, ya que parecería sugerir que ésta no ha disminuido, a pesar de que a nivel nacional sí se observa este fenómeno.
Quinto, el resultado más sorprendente, sin embargo, es el de la zona Sur-Sureste del país. Aquí las diferencias entre las encuestadoras son bastante notables y de hecho ni siquiera coinciden en identificar al puntero en la región. Así, mientras que para Consulta-Mitofsky EPN encabeza la intención de voto en esta zona con 47% y con una ventaja de 13 puntos porcentuales sobre AMLO, la encuesta de Reforma ofrece un resultado muy distinto: para ellos, AMLO encabeza la intención de voto en esta región con 42% y con una diferencia de 10 puntos porcentuales sobre EPN. La diferencia entre encuestas en la intención de voto para EPN es de 15 (¡quince!) puntos porcentuales, los cuales resultan muy difíciles de justificar desde un punto de vista estadístico. Es muy posible que aquí sí las diferencias tengan que ver con el diseño muestral, con las secciones electorales donde se levantaron las encuestas (es muy diferente si se encuestó en Veracruz o Yucatán que en Tabasco o Guerrero, por ejemplo) y/o con las tasas de rechazo. Aquí de nuevo, sin información adicional es muy difícil saber quién está en lo correcto y quién está equivocado. Sin embargo, vale la pena señalar que fue precisamente en los estados del sur-sureste del país en dónde AMLO obtuvo una victoria más amplia en los comicios del 2006 y que se requeriría de un formidable cambio en las preferencias electorales como para pensar que EPN tiene la misma intención de voto en los estados del Sur que en los del Norte.
En resumen, creo que la clave para entender las diferencias en las encuestas tiene que ver con el factor regional. En el caso particular de las encuestas de Consulta-Mitofsky y Reforma las diferencias fundamentales aparecen en las zonas Norte y Sur-Sureste del país. Para saber quién de ellos está captando mejor la intención de voto en esas zonas se requeriría de mayor información pero, en general, creo que se podría afirmar que quien quiera de ellos que haya hecho un mejor trabajo en el diseño de su muestra a nivel regional, particularmente en las zonas Norte y Sur-Sureste del país, es el que está captando mejor la verdadera intención de voto en el país en este momento.
