PMKT21 : Por que quando há duas pesquisas de hábitos sobre o mesmo assunto é comum que as respostas sejam dif erentes?

Por: Pedro Martins Silva, presidente executivo do Instituto Verificador de Circulação (IVC) e ex-diretor de Mídia e Relações Externas da P&M

“Assim formulada em termos genéricos, a pergunta levanta questionamentos prévios que precisamos encarar antes de tentar responder. Por exemplo, pesquisas de hábitos de quê? Existem hábitos mais regulares, outros menos. Mesmo o hábito sacrossanto de acompanhar uma novela da Globo tem variações conforme a época do ano, a interação com outros hábitos e eventos, e o estágio em que está a novela. Então, é natural que, aplicando-se a mesma medida em ocasiões diferentes, as mesmas pessoas poderão dar respostas diversas. Ocorre, entretanto, que geralmente duas pesquisas independentes são feitas por amostragem junto a pessoas diferentes. Existe aí mais uma fonte de variação das respostas. Qualquer pesquisa está sujeita a um erro amostral. A amostra representa um universo de pessoas que você define em função do problema que se propõe a estudar. Toda a amostra, por definição, contém um erro estatístico. Só entrevistando todo o universo é que você eliminaria o erro amostral.

É possível estimar o erro amostral para amostras probabilísticas, em função do qual você vai estabelecer os limites entre os quais você espera que esteja o valor real do universo (que você desconhece). Se você quer fazer uma estimativa mais exata do provável valor real do seu universo, você vai ter de se contentar com uma estimativa menos precisa – ou seja, com um intervalo de confiança dentro do qual o valor real pode estar. Quanto maior o intervalo, maior a probabilidade de eu “acertar”.

Por exemplo, se me contento em acertar em 90% de todas as apostas possíveis em torno de um determinado valor (digamos, 30% de hábito de ler uma determinada revista, tabulados na pesquisa), talvez eu possa calcular que a porcentagem real na população deve estar entre 28% e 32%: essa seria a minha “aposta”. Ou seja, eu aposto dentro de um intervalo total de 4%, em vez de dizer que esse hábito é exatamente de 30% das pessoas, o que me dá maior probabilidade de acertar. Mas se eu quero ter ainda mais certeza de acertar (por exemplo, quero ter 95% de chances), eu apostaria, com base no mesmo resultado, que o valor real deve estar entre 25% e 35%. O intervalo de incerteza total aumentaria de 4% para 10% para eu estar mais seguro de minha afirmação.

É fácil ter 100% de certeza: é só “apostar” que o valor real da porcentagem de leitores deve estar entre 0% e 100%. Aí não há como errar e nem sequer qualquer pesquisa se faz necessária.

Na prática você nunca vai “tirar a limpo” o valor real do universo, a não ser que o IBGE inclua a sua pergunta no Censo. Mesmo assim, quando o IBGE terminar toda a tabulação do Censo, o dado não valerá mais, pois os hábitos mudam. Mas tudo isso serve apenas para ilustrar as variações inevitáveis, aceitáveis e calculáveis, com amostras cientificamente perfeitas.

Acontece, porém, que nenhuma amostra é, na prática, “cientificamente perfeita”. Então a margem de variação de resultados de uma indagação, repetida em pesquisas diferentes, é maior ainda do que aquela que podemos calcular.

Mas existem ainda outras fontes de variação de respostas entre duas pesquisas diferentes. Por exemplo, representam um mesmo momento no tempo? As amostras são representativas exatamente do mesmo universo? Os procedimentos de amostragem são os mesmos? Entrevistas pessoais domiciliares tendem a dar maior peso às pessoas que ficam mais em casa (donas de casa, aposentados), as pesquisas por interceptação em logradouros públicos dão mais ênfase a quem sai mais de casa (jovens, estudantes, pessoas que trabalham fora), as pesquisas telefônicas dão maior peso a casas com telefone fixo (portanto, com menor representação das classes mais baixas) etc.

E depois vem a formulação exata das perguntas e os procedimentos de sua aplicação em campo. Isso costuma variar de organização para organização, embora supõe-se que todas estejam procurando medir a mesma coisa por métodos aceitáveis, porém com diferenças de abordagens talvez válidas, mas nem por isso idênticas.

Portanto, diante de tudo isso, não podemos esperar que duas pesquisas de hábitos (ou de qualquer outra coisa) dêem exatamente o mesmo resultado. Ficamos, então com mais uma pergunta prévia a ser respondida: o que quer dizer “resultados diferentes” no caso específico? Dificilmente eles serão exatamente os mesmos, mas qual a diferença que estabelecemos como sendo significativa, abaixo da qual diremos que os resultados são “aproximadamente iguais” ou apenas “semelhantes”, e acima da qual diremos que as pesquisas deram resultados “significativamente diferentes”?

Quando estamos falando de pesquisas diversas de hábitos é necessário levar tudo isso em consideração ao tomar uma decisão com base nelas. Provavelmente, se essas pesquisas forem sérias, podem dar resultados diferentes, mas que tendem a apontar, de modo geral, numa mesma direção. Exigir maior precisão do que isso é irrealista.

E a suspeita implícita de algum malfeito no trabalho, quer por inadvertência, quer de má fé, tende a ser um julgamento subjetivo de valor que dificilmente se elucida na prática. Pois, mesmo no caso de amostras “perfeitas”, daquelas que apenas existem no mundo teórico das idéias, existe sempre uma probabilidade finita de se obterem valores totalmente contraditórios entre si, devido apenas às marotagens do acaso e não do pesquisador. Se várias pesquisas de hábitos proporcionarem exatamente o mesmo resultado, aí sim é que elas serão suspeitas.

Isso não quer dizer que devemos aceitar qualquer resultado cegamente, apenas porque “é de pesquisa”. De qualquer modo, via de regra, resultados incompatíveis ou contraditórios são bem menos prováveis – tanto na teoria, como na prática. Quanto mais contraditórios, mais improváveis são. E as variações de resultados são aceitáveis apenas mediante a garantia de que foram seguidas todas as normas objetivas e validadas de planejamento e aplicação dos instrumentos de medida.

Resultados absurdos precisam ser explicados e todos os fatores mencionados acima sempre podem ser investigados.

Deixe uma resposta

This site uses Akismet to reduce spam. Learn how your comment data is processed.