Manual para leer encuestas

Ahora que se multiplicarán, no nos dejemos sorprender

A siete semanas de las elecciones, el interés por las encuestas se irá acentuando cada día que vendrá y, por lo tanto, quizá sea bueno un breve repaso de cómo leerlas. 

            Primero, un párrafo de contexto. Probablemente usted recuerde alguna elección en el mundo donde las encuestadoras se hayan equivocado. Es que los seres humanos recordamos más los errores que los aciertos. Lo menciono porque admito haber escrito hace no mucho una crítica al trabajo de las encuestadoras en el caso de las AFP. La manera en que plantean sus preguntas o seleccionan las muestras de sus entrevistados induce a respuestas sesgadas, y esto se tiene que criticar y discutir abiertamente. Pero en cuanto a intención de voto, debo decir que en la historia reciente –al menos después del año 2000–, las encuestadoras muestran más aciertos que errores. 

            Las encuestas no aciertan al azar, sino debido al uso de la ciencia estadística. Gracias al teorema central del límite tenemos un buen conocimiento sobre las maravillas del muestreo: la posibilidad de informarnos sobre lo que pasa en una población a partir de una muestra. Para comprender el universo nos basta con representaciones: lo bello convertido en útil.

            ¿Cómo saber, entonces, si el trabajo de las encuestadoras usa bien la ciencia? El punto de partida es la letra pequeña. La legislación obliga a las encuestadoras a someter los detalles de sus procedimientos al Jurado Nacional de Elecciones y hacerlos públicos. En la web he encontrado fácilmente los de Ipsos y del IEP para sus encuestas de enero 2021. Cada encuesta que se divulgue debe tener un paquete de información similar: el financista, las fechas del trabajo de campo, la representatividad, el marco muestral, el tamaño de la muestra, las técnicas de muestreo, el cuestionario, las tarjetas de información que se mostraron a los entrevistados, el margen de error, etc. En un caso extremo de transparencia, el IEP comparte la base de datos. Vaya, busque y lea. Es muy importante que las encuestadoras sepan que hay veeduría ciudadana. 

            Las encuestadoras siguen procedimientos que deben respetarse, por eso las encuestas de redes sociales y las que hacemos entre amigos se deben tomar con pinzas. No son buenas estimaciones. En el futuro, las encuestas de las redes sociales, complementadas con información y herramientas de big data, podrán reemplazar a las técnicas de muestreo que hoy aceptamos como estándar dorado. Mientras tanto, sigamos con lo mejor que tenemos actualmente. 

            A veces, en los diarios o la televisión se muestra una versión resumida de la ficha técnica: financista, fechas del trabajo de campo, marco muestral, representatividad, método de selección de muestra, tamaño de la muestra, nivel de confianza y margen de error. Vayamos sobre estos términos, sacrificando un poquito la precisión de los conceptos con el fin de ser didácticos.  

• Se viene convirtiendo en norma revelar la fuente de financiamiento de un estudio, en la academia y mas allá. Quien paga por una encuesta puede sesgarla. Lo hemos visto con las AFP. Es sano transparentar. 
• La manera en que se hace la pregunta es muy importante. El orden en que se presentan las alternativas influye en las respuestas del entrevistado. Por eso, las encuestas que se hacen con cédulas de votación reales son más fidedignas.
• Es importante conocer las fechas del trabajo de campo, es decir, los días que se hicieron las preguntas a los individuos. Las encuestas indagan sobre lo que piensa hacer el elector el día de la votación. Mientras más tiempo exista entre el momento de la pregunta y el de la votación, mayor probabilidad de cambios de parecer. En este sitio web de Alejandro Kantor se puede notar la evolución de los candidatos, usando la información conjunta de las principales encuestadoras.  
• El marco es la delimitación del conjunto de sujetos de estudio. Una encuesta ideal debería poder incluir a todos los votantes en su marco, pero esto es logísticamente complicado y costoso. Por eso las encuestadoras optan por acotar de alguna forma. La forma típica de hacerlo es incluir solo a algunas provincias o distritos en el estudio.
• La representatividad es el porcentaje que cubre el marco dentro del total nacional. Valores aceptables están por encima del 90% pero, más allá del número, es importante tener claridad de los sujetos y territorios que no están representados por el estudio. Por lo general, las zonas rurales de difícil acceso no quedan representadas en ellos.
• En el método de selección de muestra, usted leerá usualmente que fue bietápica. Esto significa que la selección de sujetos se hizo en dos pasos: primero se seleccionó una provincia/distrito/manzana y luego, dentro de ese territorio, se escogió al azar una casa/familia/persona. La selección es mucho más importante de lo que parece.
• Un estándar de las encuestas es utilizar alrededor de 1.200 observaciones como tamaño de muestra. Esto no surge del azar, responde a la aplicación de una fórmula que se deriva del teorema central del límite y depende directamente del nivel de confianza y del margen de error. ¿Con 1200 observaciones se puede inferir la intención de 25 millones de votantes? Del mismo modo funciona una medición en su frente para inferir la temperatura de todo el cuerpo, o unas pocas líneas y colores para inferir cómo son las calles de una ciudad.
• El nivel de confianza, en términos coloquiales, es la probabilidad de que la muestra no sea atípica. Regularmente se utiliza 95% de confianza. Esto significa que de cada 20 encuestas bien diseñadas, una puede arrojar resultados anómalos porque azarosamente la muestra se confeccionó mal.  
• El margen de error es uno de los conceptos clave que todos deberíamos usar en nuestras lecturas. Suele situarse entre 2% y 3% para encuestas de 1.200 personas. Para hacer más pequeño ese margen, es necesario aumentar los tamaños de muestra o reducir la confianza. Las encuestas más acertadas (las del día previo o las de boca de urna) suelen tener muestras de varios miles de entrevistados. 

            Por ejemplo: supongamos una ficha técnica que dice tener un 95% de confianza y un margen de error de 3%.  Supongamos, además, que un candidato A tiene 15% de intención de voto, un candidato B tiene 11% y un candidato C tiene 9%. 
            Incorporando el margen de error, esto se lee así: 

            A tiene entre 12% y 18% de intención de voto con un 95% de confianza.

            B tiene entre 8% y 14% de intención de voto con un 95% de confianza.

            C tiene entre 6% y 12% de intención de voto con un 95% de confianza.

            Aquí A y B están empatados técnicamente porque el intervalo [12,18] y el intervalo [8,14] se intersecan. B y C también están empatados técnicamente. Pero la intención de voto de A sí es superior a la de C (los intervalos son abiertos).

            Aplique este ejemplo a los datos de las encuestas actuales y verá que tenemos múltiples empates (una digresión técnica: en este ejemplo estoy asumiendo cero correlaciones). Mauricio Saravia, que ha trabajado en esto, comenta también varios conceptos en esta entrevista.

            Aprovecho para señalar un error que cometemos con frecuencia: en los próximos días verá en las encuestas que, además de preguntar por la intención de voto presidencial, se preguntará por la intención de voto para el Congreso. El número de curules que obtenga cada agrupación será muy diferente a esa intención de voto. Hay por lo menos dos razones para ello. Primero, la regla de decisión importa: no es lo mismo una elección agregada donde gana quien tenga más votos (como es la elección presidencial en el Perú) que una basada en colegios electorales (como es la elección presidencial en Estados Unidos). La elección de nuestro Congreso es por distritos, hay 27 elecciones corriendo simultáneamente. Un muestreo que capture apropiadamente esto es más complejo. Una segunda capa de complejidad es la regla de la cifra repartidora: convertir porcentajes de votación en número de curules no es un ejercicio sencillo. Todo esto hace que el resultado sea más difícil de predecir.

            Cierro con un comentario sobre una disposición anacrónica de nuestra legislación electoral: la prohibición de publicar encuestas en la semana previa a las elecciones. El mundo ha cambiado mucho desde que esa ley fue redactada. Hoy la información fluye incontrolablemente. ¿Qué sentido tiene mantener una ley cuyo cumplimiento es imposible de monitorear? No necesitamos más normativas con “letra muerta”: con la laboral y con la de tránsito tenemos más que suficiente.