En su libro más vendido Rompiendo el Código de QuebecJean-Marc Léger escribió: “Las encuestas políticas representan aproximadamente el 1% de todos mis ingresos, pero representan el 99% de mis problemas”.
Entonces, ¿por qué hacerlo entonces? Para muchas firmas de investigación de mercado, las encuestas políticas sirven como una forma eficiente de promover su marca, atraer clientes y, cuando tienen éxito, mostrarles a los clientes que se puede confiar en sus números. En un mercado de oferta y demanda en funcionamiento, las empresas encuestadoras cuyos resultados están constante y sistemáticamente fuera de lugar están condenadas al fracaso a largo plazo, algo similar a la economía darwiniana. (No obstante, cabe destacar que incluso las mejores empresas encuestadoras de vez en cuando errar el blanco, tal es la naturaleza de las estadísticas y el desafío de apuntar a un objetivo en constante movimiento).
“Pero hay más en las encuestas que las intenciones de voto”, me han dicho muchas veces, y con razón. Hacer encuestas sobre cuestiones sociales puede ser mucho más importante para comprender el panorama político que simplemente medir la carrera de caballos. Sin embargo, la razón por la que no presto mucha atención a las encuestas que no incluyen intenciones de voto es, simplemente, que sus resultados no son verifiable.
Por ejemplo, imagine una empresa de investigación de mercado X que publica una encuesta que indica, digamos, que el 80 por ciento de los canadienses están a favor de un control de armas más estricto, o que el 25 por ciento de los canadienses no tomará la vacuna COVID-19 bajo ninguna circunstancia. ¿Cómo se sabe si los datos están calibrados correctamente? ¿Cómo sabemos que los resultados no están sesgados, ni siquiera involuntariamente?
Ahora, digamos, hipotéticamente, esa misma encuesta mide a los conservadores liderando a los liberales por 25 puntos a nivel nacional. Dado que las proyecciones actuales de 338Canada (basadas en un promedio móvil ponderado de las encuestas) muestran a los liberales por delante por un margen de 4 a 8 puntos, ¿cuánta tracción y / o atención de los medios se le debe dar a esta encuesta, especialmente los resultados de sus preguntas sobre problemas sociales? (“Muy poco a ninguno” sería la respuesta correcta). Las intenciones de voto son los únicos puntos de datos que son realmente verificables por experiencia.
Además, dado que cerca de una docena de empresas sondean regularmente las intenciones de voto federal en este país, podemos comparar los resultados entre esas empresas y realizar un seguimiento de todos los números a lo largo del tiempo.
Porque las elecciones ocurren de vez en cuando y representan la oportunidad perfecta para comparar los resultados de las encuestas con los resultados de las elecciones. Luego, podemos compilar la libreta de calificaciones de cada empresa (consulte las calificaciones de 338Canada de los encuestadores canadienses aquí). ¿Qué empresa tenía razón, cuál no? ¿Por cuanto? ¿Y hacia qué partido se inclinaron los resultados? Es el error sistemático ¿O fluctúa de una parte a otra?
Hoy presentamos gráficos y datos para medir, si lo hay, el “efecto casa” de las empresas encuestadoras canadienses en las encuestas federales. Este análisis se centrará en las intenciones de voto de los liberales y conservadores federales durante los últimos tres años, desde enero de 2018 hasta julio de 2021 (y analizaremos las cifras de otros partidos en una fecha posterior).
A continuación, se muestra un “gráfico de diana” que compara todos las encuestas federales durante ese período de tiempo con el promedio móvil de 338Canadá (liberales horizontalmente, conservadores verticalmente).
Las escalas del gráfico representan el número de puntos porcentuales del promedio en el momento de la fecha del campo intermedio de cada encuesta.
Como es de esperar, la diana está rodeada de puntos distribuidos de forma casi simétrica. A largo plazo, las empresas mejor calibradas y precisas deberían tener encuestas distribuidas casi uniformemente alrededor de la diana. En resumen: las encuestas cercanas a la diana se acercaron a los promedios ponderados durante sus fechas de campo; los que están lejos del centro son valores atípicos estadísticos o precursores de nuevas tendencias. (Todas las encuestas utilizadas en este análisis se enumeran en esta página).
Veamos el mismo gráfico, pero con puntos de colores añadidos para identificar las encuestas. por firma. Aquí está el gráfico de Léger (puntos verdes):
Como puede ver, las encuestas de Léger se distribuyen casi simétricamente a lo largo de la diagonal de la parte superior izquierda a la inferior derecha. Algunas encuestas de Léger estaban varios puntos por debajo del promedio en el momento de sus fechas de campo, pero la mayoría de los puntos se encuentran cerca de la diana. Este es un gráfico bien calibrado.
Aquí está el mismo gráfico para Nanos Research:
Nota: la mayoría de las encuestas de Nanos Research son encuestas continuas semanales, por lo que solo se muestra una encuesta por ciclos de cuatro semanas en el gráfico. Una vez más, notamos que los puntos están distribuidos casi uniformemente.
Aquí está el gráfico de Ipsos:
Al igual que con Léger y Nanos Research, las encuestas de Ipsos están perfectamente distribuidas alrededor de la diana sin un sesgo aparente y sistemático.
Aquí está el gráfico de Abacus Data:
La misma historia aquí. Aunque hay un poco más de encuestas en la mitad inferior del gráfico (por lo tanto, cifras de CPC más bajas), no vemos un sesgo importante en los datos.
Aquí está el gráfico de Mainstreet Research:
Las encuestas federales de Mainstreet Research parecen tener una ligera inclinación hacia el cuadrante superior derecho del gráfico, lo que significa un LPC alto y números de CPC altos que el promedio móvil (por lo tanto, un NDP más bajo). Sin embargo, al promediarlos (como mostraremos a continuación), no medimos un sesgo importante.
Aquí está el gráfico de Innovative Research Group (IRG):
Los lectores habituales de esta columna y los nerds de las encuestas pueden haber notado que las encuestas del IRG a menudo parecen ser favorables a los liberales, y esa impresión estaría respaldada por los datos. Como puede ver en el gráfico, las encuestas de IRG están casi todas ubicadas en el cuadrante inferior derecho, lo que significa números altos de LPC y bajos de CPC. Este es un claro ejemplo de un efecto casa sistemático. Desde un punto de vista puramente estadístico, simplemente no puede ser una coincidencia que todos estos puntos se inclinen en la misma dirección. Eso no Significa que las encuestas del IRG son incorrectas o inutilizables, pero debemos tener cuidado e interpretarlas en el contexto.
Finalmente, aquí está el gráfico del Angus Reid Institute (ARI):
Vemos aquí la tendencia opuesta de IRG: Prácticamente todas las encuestas de Angus Reid están ubicadas en el cuadrante superior izquierdo, lo que significa un CPC alto y números de LPC bajos en comparación con el promedio de la encuesta. Esto también muestra un efecto casa sistemático. Curiosamente, sin embargo, esta inclinación medible hacia los conservadores federales no se traduce en un sesgo notable en las encuestas provinciales de Angus Reid.
En conclusión
Al calcular el sesgo promedio de cada empresa que sondea regularmente las intenciones de voto federales, obtenemos el siguiente gráfico:
Ocho de las 10 empresas representadas en el gráfico están ubicadas dentro del radio de 2 puntos, lo que, considerando todo, debería verse como un sesgo menor en los últimos tres años. En cuanto a Innovative y Angus Reid, parecen reflejarse entre sí desde cuadrantes opuestos.
“¿Pero qué pasa si esas empresas están en lo correcto y todos los demás están equivocados?” En las elecciones federales de 2019, la encuesta final de Angus Reid hizo que los conservadores ganaran por 5 puntos sobre los liberales. En cuanto a Innovative Research, sus cifras finales mostraron un voto de victoria de dos puntos para los liberales. Los conservadores terminaron ganando el voto popular por un punto. Angus Reid tenía el LPC demasiado bajo e IRG tenía el CPC demasiado bajo. Los números generales fueron bastante precisos, pero se desviaron en la misma dirección general que se muestra arriba.
Nuevamente, quiero enfatizar este punto: no es que sus encuestas sean necesariamente incorrectas o inutilizables. Por lo general, observan las mismas tendencias que sus competidores, por lo que su trabajo aún tiene un valor tremendo (y los medios de comunicación de todo el país lo citan con regularidad y con razón, incluida esta revista). Pero aunque ven que la marea se mueve de la misma manera que otras empresas encuestadoras, parecen medirla desde un nivel de agua ligeramente diferente.
Seguir 338 Canadá en Twitter