Las "fallas" de las encuestas y sus márgenes de error

Los politólogos Daniel Chasquetti y Rafael Piñeiro conversaron con No toque nada acerca de los resultados y errores de las encuestas respecto las elecciones del domingo pasado. Explicaron que la tendencia fue a reportar estimaciones puntuales sin intervalos de confianza; y que "no solo fallaron las encuestas" sino "los análisis que se hacían a partir de datos de encuestas".

Actualizado: 01 de noviembre de 2014 —  Por: Redacción 180

Las "fallas" de las encuestas y sus márgenes de error

Sin datos (Todos los derechos reservados)

Joel Rosenberg: Días antes de las elecciones ponían sobre la mesa esa idea de mayoría parlamentaria que ninguna encuesta estaba dando. No es un tema de embocar, lo explicaste en aquel momento. Rafael, ¿por qué pensaste que ese escenario no era descartable del todo?

Rafael Piñeiro: Había dos tipos de estimaciones, las estimaciones de dos empresas daban cercano al 43% y eso estaba lejos de la mayoría absoluta, en particular a partir de los intervalos de confianza que tienen esas estimaciones, desde cuánto a cuánto podría variar ese porcentaje en función de la incertidumbre que tienen las encuestas. Factum estaba en el medio, Cifra y Equipo eran las que daban menos porcentaje de votación al Frente, y había otras dos que eran Radar y Opción que daban porcentajes cercanos al 46%.

Cuando uno intenta estimar partidos que se acercan a la mitad del electorado esa estimación incluso tiene más incertidumbre que cuando uno intenta estimar partidos pequeños. Eso lo que hace es que el margen de error sea mayor y entonces eso entraba claramente dentro del 48%. Entonces existía una posibilidad estadísticamente de que el Frente Amplio pudiera votar con una encuesta que marcara el miércoles 46%, perfectamente podía votar 48%, que es lo que terminó pasando. Porque para esa encuesta estadísticamente al 95% de confianza es lo mismo que sea 45,9, 46, ó 48. No hay uno que sea más probable que otro y por eso dije eso. Fue simplemente que no podíamos decir que eso no ocurriera. Lo que sí estaba claro es que estaba fuera de los intervalos de confianza de cualquiera de las encuestas que el Frente Amplio ganara en primera vuelta.

Ricardo Leiva: Había una opinión instalada, a partir de las encuestas, pero además en los actores políticos, de que de ninguna manera iba a haber mayoría parlamentaria del Frente Amplio después de la votación del domingo.

Daniel Chasquetti: La probabilidad era baja, pero había una probabilidad. Yo quiero reconocer que Rafael tenía razón, digo esto porque la última vez que estuvimos acá tuvimos ese matiz y a Rafael después lo mataron en las redes, lo mataron mal, y me parece que no lo que él planteaba era muy razonable.

Rafael Piñeiro: Acá no solo fallaron las encuestas, sino que fallaron muchas veces los análisis que se hacían a partir de datos de encuestas. Uno lo que tiene que explicar es el comportamiento electoral, cuando uno lo tiene que explicar el resultado que ve en las encuestas puede ir de acuerdo a la teoría que existe sobre comportamiento electoral o en contra de esa teoría. Y lo que sabemos es que algunos factores macro como la inflación, el desempleo y el crecimiento en el año de elección inciden sobre el comportamiento electoral de la gente. Y al mismo tiempo algunos factores micro, las percepciones respecto a la evolución de la economía, la popularidad de los candidatos y las evaluaciones de gestión de los partidos en el gobierno también inciden.

Si uno miraba todos esos datos, a uno le era difícil poder explicar por qué Tabaré Vázquez iba a votar peor que Mujica cinco años atrás. Y durante toda esta campaña electoral y durante todas las mediciones que lo que veíamos era un dato que era contraintuitivo, y los analistas nos orientamos a intentar explicar ese dato y no lo pudimos hacer. Yo no vi nadie que diera datos respecto a esos factores que explican el comportamiento electoral que diera lugar a pensar razonablemente que Vázquez iba a votar peor que Mujica. Y Vázquez no terminó votando peor que Mujica. Es decir el componente teórico que le faltó al análisis político fue tan importante como los posibles errores de estimación de las encuestas.

Daniel Chasquetti: O tal vez porque nos basamos demasiado en las empresas grandes. Miramos demasiado a Cifra y Equipos y le damos poca bola a Opción y Radar. La encuesta de Radar de principios de octubre eran 1600 casos cara a cara y era absolutamente diferente. Yo estuve mirando esa encuesta y esa encuesta estaba bien rumbeada, tenía un número de indecisos bastante alto. Esa encuesta a mí me llevó a publicar el 10 de octubre una columna sobre las encuestas donde yo decía o convergen al final o nos vamos a llevar una sorpresa; y me parece que lo que sucedió fue lo segundo. Porque no hubo convergencia, porque una vez que se abrieron las urnas, el resultado fue catastrófico para algunos encuestadores.

Joel Rosenberg: Claro porque no hay margen de error que valga, quiero decir que no entran dentro del margen de error.

Daniel Chasquetti: Pero además, hay otra cosa me parece que acá las empresas deberían trabajar con mucha humildad y reconocer el error, y empezar a establecer un programa de investigación sobre lo que está pasando. El problema que tenemos todos es que lo que vemos es el resultado, pero los microdatos de las encuestas no están disponibles. Las universidades podrían investigar esto, pero no están disponibles. Si estuvieran disponibles podríamos tomar la encuesta de octubre de Equipos y Cifra, mirar cómo se ponderó e intentar buscar dónde está el error. Si en realidad tenemos un problema de muestra, de cómo se aplicó la encuesta o si en realidad es un problema de cómo se corrieron los resultados.

Ricardo Leiva: Sobre esto que vos decís, una propuesta de cómo aumentar la investigación de esta manera sin necesidad de ponerle demasiado dinero arriba.

Daniel Chasquetti: Claro, pero las empresas no comparten los datos. Para lograr que compartan hay que solicitar y normalmente te dan el resultado, pero no la base de datos.

Rafael Piñeiro: Una cosa más con respecto a esto de los márgenes de error y los intervalos de confianza. Me parece que todos tienden a reportar siempre, nos dicen un porcentaje, y ese porcentaje es la estimación promedio, que puede ser esa o cualquiera de las otras que están a los costados dentro de ese intervalo de confianza que es diferente para cada partido en una misma encuesta. Esto que nos dicen más menos 3% no es tan así. Porque no es para cantidades pequeñas, por ejemplo, como el Partido Independiente en el total del electorado. Para el Partido Independiente y su estimación es muy pequeño el intervalo de confianza, no va a variar mucho. Sí es más grande para el Frente Amplio, igual que para cantidades muy muy grandes, superiores al 80%. Ahora si yo reporto no intervalos de confianza, sino lo que reporto es la estimación puntual, a mí me tienen que juzgar por cuán lejos estoy de mi estimación puntual.

Yo tengo una opción entre reportar intervalos de confianza o estimaciones puntuales y yo entiendo que para publicar, para salir en los medios, te digo siempre que hay un intervalo de confianza muy grande y que el intervalo de confianza grandes hacen que las variaciones de encuesta a encuesta no existan como no existieron en esta elección, obviamente eso no es noticia. Esa es una opción, ahora perfectamente uno puedo haber ido por la otra opción. Entonces a mí lo que me parece es que en este momento recurrir al intervalo de confianza no es pertinente, no es pertinente porque cuando se optó por reportar se optó por reportar la estimación puntual y no el intervalo de confianza. El intervalo de confianza sirve cuando le erro, pero no sirve para reportar, para decir cuánto van a votar.

Daniel Chasquetti: Como explicación no debería ser utilizado.

Rafael Piñeiro: Está bien para saber por cuánto uno se equivocó, pero no puede ser un justificativo para decir no me equivoqué por tanto.

Joel Rosenberg: Aparte es muy difícil para el ciudadano que mira la televisión, porque le dicen 43. Hay una columna de Gabriel Pereyra en El Observador que tiene una pregunta que se las quiero plantear a ustedes, que era el estado de opinión que puedan generar las encuestas. No estoy hablando de la búsqueda de generar una votación, sino el estado de opinión que se genera cuando Lacalle Pou crece, crece, crece.

Daniel Chasquetti: Yo me hago la misma pregunta, es probable que haya pasado eso. Cuando nosotros hacemos análisis o escribimos una columna sobre cómo viene la elección estamos tomando como insumo central los resultados de las encuestas. Es nuestra ancla. Yo no salgo a recorrer el país y caminar por los barrios para ver qué opina la gente, miro las encuestas. Y si las encuestas están mal mis conclusiones van a ser erradas. Lo mismo le pasa a los periodistas. Tal vez haya habido algo así, pero yo vuelvo a repetir, algunas encuestas no decían. No todas las encuestas dicen lo mismo y tenemos una tendencia a mirar a las grandes empresas.

Rafael Piñeiro: Acá pueden haber pasado dos cosas. O se estuvieron equivocando desde hace mucho tiempo o no se estuvieron equivocando y hubo un vuelco en la última semana. Ahora hay un indicio que puede llevarnos a pensar que la equivocación de la estimación, fue una equivocación que se arrastra desde hace un tiempo que es que el día de la elección las encuestas con la misma metodología convergían con los datos que habían tenido el fin de semana anterior. No el boca de urna sino las encuestas el día de la elección, las llamadas telefónicas. La estimación no muestra que hubo un vuelco en la última semana.

Daniel Chasquetti: Por ejemplo, Cifra el día de la elección hizo una encuesta de unos 1600 casos y le volvió a dar 43%.