Sobre encuestas y encuestadores

Las encuestas no son bolas de cristal, es decir, no son instrumentos para predecir el futuro. De ahí que sea inexacto decir que una encuesta –que pretende medir preferencias electorales, por ejemplo- resultó “equivocada”, cuando los resultados de la encuesta no coincidieron con la realidad: la votación emitida el día de la elección.

Una encuesta, o un sondeo de opinión, son instrumentos de medición –de carácter estadístico– que tienen como objetivo estimar una característica de una población determinada, en un momento dado; característica denominada técnicamente parámetro poblacional. Así, en el caso de las encuestas que estiman las preferencias electorales, el parámetro consiste en las proporciones de electores que votarán por uno u otro partido o candidato. Estas proporciones son desconocidas hasta antes del momento en que se emite de voto. Es decir, el parámetro es una cantidad desconocida la cual, mediante procedimientos de la estadística matemática, se intenta estimar, lo que significa calcular un valor aproximado al del parámetro desconocido.

Para obtener una estimación que sea confiable y que tenga un grado de precisión aceptable, es decir, sobre la que se tenga certeza (probabilista) sobre su aproximación al parámetro a estimar, se requiere de la aplicación meticulosa de procedimientos establecidos por la teoría estadística. Las características que distinguen a una encuesta bien diseñada y aplicada de otra que no lo sea, son relativamente fáciles de entender y debería ser una obligación de las empresas encuestadoras dar a conocer estas características en lo que se conoce como “vitrina metodológica”. Cuando una empresa no da a conocer fehacientemente esta información, habrá razones para dudar sobre la verosimilitud de los resultados derivados de la encuesta.

A continuación expondré sintéticamente cuales son las características esenciales de una encuesta y que permiten reconocer la calidad de ésta. Intentaré explicar la forma de interpretarlas (sostengo que cualquier persona, con un mínimo de conocimiento numérico, puede hacerlo) y las consecuencias derivadas de la no observancia del rigor metodológico. Referiré, a manera de ejemplo, una hipotética encuesta para medir preferencias electorales.

Población objetivo

En primer lugar debe definirse con claridad la población cuyos parámetros se desea estimar. Así, por ejemplo, debe decirse si la población objetivo es el conjunto de todos los votantes registrados en el padrón electoral, o si se reduce al conjunto de aquellos que disponen de línea telefónica fija (es el caso de las encuestas telefónicas), o si se limita a los pobladores de determinada región o estrato, etcétera.

Esta definición es importante pues las inferencias derivadas de la encuesta se aplicarán a esta población exclusivamente. Por ejemplo, si se trata de una encuesta telefónica los resultados corresponden solamente a la población de electores que disponen de línea telefónica y sería equívoco extrapolar los resultados a la población integrada por todos los votantes listados en el padrón.

Así que las diferencias observadas en los resultados de distintas encuestas bien pueden deberse a que se muestrea en poblaciones distintas.

Marco muestral

Para obtener una buena estimación, es necesario contar con una buena muestra, es decir, con un subconjunto de la población objetivo, en el cual se realizará la medición, de donde se hará la generalización para la población de la cual proviene la muestra.

Para seleccionar la muestra se debe contar con un marco muestral, que es un listado de los elementos de donde se tomará la muestra. En el caso de que la población objetivo sea la de todos los ciudadanos empadronados, entonces el marco muestral es el padrón mismo; si la encuesta es telefónica, entonces el marco muestral bien puede ser un directorio telefónico.

Si no es dado a conocer el marco muestral, entonces resulta difícil asegurar el grado de generalidad que pueda atribuirse a los resultados obtenidos.

Tipo y tamaño de la muestra

Como se ha mencionado, una muestra es un subconjunto de la población objetivo, sobre el cual se hará la medición y, a partir de la información así obtenida, se generalizarán los resultados a la población. Para que se tenga una idea de la adecuación de la muestra como base para una inferencia, es necesario asegurar la representatividad y la precisión garantizadas por la misma. Estas características tienen que ver con el método de selección de la muestra (representatividad) y el tamaño de la misma (precisión).

Selección de la muestra

En virtud de que la muestra es solamente una parte de la población, se tiene que asegurar que sea representativa de ésta. Esto significa que todo tipo de elemento poblacional tenga la posibilidad de estar representado en la muestra. Por ejemplo, en la muestra deben estar proporcionalmente representados hombres y mujeres, individuos de los distintos grupos de edad, y sujetos pertenecientes a diversos estratos (urbano o rural, nivel socioeconómico, etcétera).

Para garantizar la representatividad de la muestra se tiene que seleccionar un método de muestreo apropiado, entre los que se cuentan: el muestreo totalmente aleatorio, el muestreo estratificado, el sistemático y muchos otros.

Si la muestra no es obtenida apropiadamente, entonces se dice que la muestra tiene un sesgo; por ejemplo si la muestra sólo incluye mujeres, o si sólo se aplicó en el estrato urbano y no en el rural, entonces la muestra sólo representará a ese grupo o estrato y sus resultados no pueden extenderse a la población en general.

Por ello, es necesario que la empresa encuestadora también de a conocer el tipo de muestreo utilizado y los resultados deben incluir información adicional sobre los encuestados, como serían: la proporción de hombres y mujeres entrevistados, cuántos corresponden a tal o cual nivel socioeconómico, etcétera. En caso de que la encuesta no esté acompañada de esta información, será difícil atribuirle algún grado de solidez a los resultados obtenidos.

Tamaño de la muestra

Una vez asegurada la representatividad de la muestra, habrá que establecer la precisión de los estimadores provistos por la muestra, lo cual se relaciona con el tamaño de la muestra. Muestras grandes aseguran mayor precisión, pero resultan más costosas –en tiempo, dinero y esfuerzo– así que se busca un compromiso entre el tamaño de la muestra y el costo. La determinación del tamaño de la muestra depende del tipo de parámetro que se está estimando y de la confiabilidad deseada en la estimación. Generalmente, quien diseña la encuesta es el que decide el grado de confiabilidad deseada. La confianza es la probabilidad (a veces expresada como porcentaje) de que el valor desconocido del parámetro esté dentro del límite de precisión establecido para el estimador. Pensemos, en el ejemplo, que el parámetro es la proporción de quienes prefieren al candidato X y que la muestra garantiza una precisión de .03 (+/- 3%) por ciento, con una confianza de .90 (90 por ciento). Supongamos que al aplicar la encuesta, en la muestra el 25 por ciento (0.25) respondió que prefiere al candidato X.

Entonces, esto significa que en la población objetivo, la proporción real de votantes que prefieren a X estará en el intervalo 0.25(+/-).03, esto es, entre 0.22 y 0.28; es decir, entre un 22 y un 28 por ciento de electores en la población prefieren al candidato X. Esto puede asegurarse con una probabilidad (confianza) de 0.90 (90 por ciento), lo cual significa que se tiene esa probabilidad de que la aseveración sea verdadera, contra un 0.10 (10 por ciento) de probabilidad de que no lo sea. Otra interpretación es que si se replicara la encuesta 100 veces, siguiendo rigurosamente el mismo procedimiento (cada ocasión daría lugar a una muestra diferente), en 90 de ellas “acertaríamos” en el resultado y en 10 “fallaríamos”, es decir el parámetro estaría fuera del intervalo estimado. En otras palabras, toda encuesta tiene márgenes probabilistas de “error”, aún cuando se apegue estrictamente a la metodología estadística. Esto se traduce en que alguna empresa encuestadora, aún cuando aplique la metodología rigurosamente, de vez en cuando se “equivocará”.

Como puede verse hay una relación entre tamaño de la muestra, la precisión y la confiabilidad, bajo el supuesto de que el método de muestreo garantiza la representatividad. Si el método de muestreo no es adecuado ya no es posible atribuirles, en todo rigor, valor alguno a las otras cifras.

Generalmente, las empresas encuestadoras proporcionan información sobre la precisión y la confiabilidad de los estimadores, pero hay que tener toda la información anteriormente mencionada para que las cifras tengan sentido.

Hay que enfatizar que, como con frecuencia se asevera, las encuestas son “fotos instantáneas”, es decir, reflejan -por ejemplo- las preferencias electorales del momento, pero éstas son cambiantes y por ello la encuesta no necesariamente predice el futuro comportamiento de los votantes. Es por eso que, generalmente, las encuestas sobre preferencias electorales comienzan indicando: “si las elecciones fueran hoy…..”

Finalmente, añadiría que hay varias fuentes de error que -aunque existen los métodos para ello- no siempre son fáciles de cuantificar y/o controlar: por ejemplo, la posibilidad de que los encuestados mientan, o que los encuestadores -si no están debidamente capacitados- induzcan la respuesta en algún sentido, o bien que encuestas previas cuyos resultados son conocidos por los encuestados influyan en las preferencias u opiniones de los entrevistados. Estas posibilidades están siempre presentes y tienen que tomarse en cuenta para una mejor interpretación de los datos.

En fin, el diseño, elaboración, aplicación y análisis de una encuesta es una técnica basada en métodos derivados de la teoría de la probabilidad y la estadística matemática, pero también es un arte cuyo dominio se logra a través de la experiencia de campo.

Toda empresa dedicada al levantamiento de encuestas debería garantizar el rigor metodológico necesario para asegurar la fiabilidad de sus resultados. Pero tengo la impresión que no todas las empresas encuestadoras hacen suyo este rigor metodológico, y albergo la sospecha de que algunas de estas empresas confeccionan encuestas a modo de quien las paga.

Concluyo que deben interpretarse con cuidado los resultados derivados de la aplicación de encuestas y, también, que considero relativamente simples los elementos (como los aquí expuestos) que nos dan la base para hacerlo.