Por Leandro Salvador
(originalmente publicado no Medium)
Um breve estudo de caso das checagens realizadas pela Agência Pública – Truco sobre frases dos discursos dos presidenciáveis
Foram verificadas as checagens dos discursos de Guilherme Boulos, Manuela D’Ávila, Ciro Gomes, Marina Silva, Álvaro Dias, Geraldo Alckmin e Jair Bolsonaro realizadas pela Agência Pública – Truco.
As iniciativas de checagem de informações — “fact-checking” — são um alento àqueles que mantém algum apreço pela democracia e pela preservação da civilidade na esfera pública.
Manchetes impactantes para chamar a atenção e melhorar as vendas sempre foram uma “arte” desde bem antes da existência das redes sociais. A diferença é que, antes do Facebook e do Whatsapp, a produção e difusão de informações estava restrita a oligopólios que detinham a exclusividade de produzir notícias — e de manipular as informações. Até o início da década de 2010 a manipulação de notícias pela mídia coporativa ainda costumava ser um tema em alta.
O Facebook desequilibrou essa dinâmica e abriu espaço para outros players participarem da disputa pela construção de narrativas. Usinas de produção de mentiras online — as ditas “fake news” — tais como MBL e côngeneres aprenderam a fazer no Facebook aquilo que a mídia corporativa sempre fez tão bem na TV, no rádio e na imprensa. Manipulação e produção de mentiras (fake news, pós-verdades, etc.), afinal, não são uma grande novidade. A diferença é que hoje acabou o oligopólio e qualquer um pode criar e disseminar lixo camuflado de informação com baixo esforço e pouco dinheiro: basta uma manchete sensacional e uma plataforma de divulgação que não ajude a diferenciar muito bem as manchetes produzidas pela Folha Política (concorrente do MBL) e pela Folha Poder (caderno de política do jornal Folha de S. Paulo). O Facebook tem servido muito bem a esse propósito.
Nos últimos anos surgiram no Brasil três importantes iniciativas que contam com jornalistas profissionais para checagem de dados, informações e notícias, certificadas pela Poynter:
Agência Lupa, ligada ao grupo Folha de S. Paulo.
Agência Pública – Truco.
Aos Fatos.
Existem algumas diferenças importantes entre a checagem de “fake news” e a checagem de discursos políticos.
Notícias — sejam elas verdadeiras, parcialmente manipuladas ou completamente falsas — são escritas, geralmente estão publicadas em algum site e podem ser desmentidas com um padrão razoavelmente alto de objetividade e isenção. Já os discursos feitos por políticos são orais, são falados, quase sempre sob improvisação e apoio da memória. Nestes casos, a rotulação de “verdadeiro”, “falso”, “exagerado” ou algum dos outros rótulos atribuídos pelos checadores às frases faladas por políticos são escolhas com margem para subjetividade, diferente da avaliação mais objetiva que tem sido realizada na checagem de notícias para estabelecer se são verdadeiras ou falsas.
O tempo e a velocidade da escrita são diferentes dos da fala. Exigir-se o mesmo rigor e precisão de um discurso oral ao que se pode exigir de um texto jornalístico ou acadêmico é um exagero incompatível com a própria ideia de checagem de informações.
Não têm sido poucas as manchetes produzidas por agências de checagem relacionadas a discursos de políticos que seguem a mesma lógica das manchetes manipuladas pela mídia tradicional — a Caneta Desmanipuladora que o diga — ou aquelas dos posts de facebook das “startups de fake news” da qual o MBL é o case de sucesso mais famoso no Brasil. As agências de checagem correm o risco de “queimar” a credibilidade desta importante iniciativa se continuarem na tentação de se posicionarem como guardiões do verdadeiro-falso reduzindo os políticos a mentirosos ou exagerados quando não acertam em cheio um número.
O problema dessa abordagem intolerante que tem sido praticada pelas agências de checagem no Brasil é que reduzir os discursos políticos a catálogos de mentiras, numa lógica binária do “verdadeiro” ou “falso” (e os diversos tons de falso que têm sido usados para criar as manchetes espetaculares de que este político é mentiroso e aquele é equilibrado etc.) é uma subversão da ideia de qualificar a esfera pública e fomentar o debate democrático.
Para sustentar este argumento me propus a mapear, analisar e catalogar as checagens de sete pré-candidatos à presidência da República em 2018 realizadas por uma das agências de checagem de notícias mais respeitáveis e consolidadas no Brasil (escolhi a Agência Pública – Truco). Para apoiar a elaboração deste artigo organizei uma tabela consolidando essa tentativa de “meta checagem” (checagem da checagem) e as divergências que consegui perceber em cada uma das 50 frases checadas. O meu trabalho pode ser, ele próprio, verificado. Destas 50 frases dez chamam a atenção: nove delas (18%) referem-se a dados numéricos que estão dentro de uma margem de erro de +- 10% ou 10 p.p. e recebem rótulos como “falso” e “exagerado” e uma, fora desta margem, recebe o rótulo “verdadeiro”.
Ao final tomo a liberdade de compartilhar algumas considerações e sugestões buscando contribuir com esse importante trabalho que é a checagem de discursos políticos e, espero, em breve, também dos planos de governo e das propagandas eleitorais.
Nota metodológica: parti do pressuposto de que um erro de mais ou menos até 10% — ou até 10 pontos percentuais quando alguém se refere à “metade” de alguma coisa — num número apresentado de improviso é irrelevante nesse formato de comunicação e, portanto, deveria ser considerado como correto ou, no máximo, como impreciso — e não como falso ou exagerado — por estar dentro de uma margem de erro que considero razoável para qualquer discurso oral.
Frase correta é classificada como exagerada: “São R$ 450 bilhões que as grandes empresas devem para a Previdência.”
Areportagem afirma que o candidato usou exatamente o mesmo valor contido no relatório final da CPI da Previdência no Senado. Entretanto, segundo outra fonte de dados — a Procuradoria-Geral da Fazenda Nacional — o valor mais recente seria de R$ 445,8 bilhões, uma diferença insignificante de 0,9%. A agência não teve dúvida: exagerado!
Frase correta é classificada como falsa: “A forma como se organizam as polícias no Brasil é uma verdadeira jabuticaba: só existe aqui. A divisão entre polícia ostensiva e polícia investigativa, uma militar e outra civil.”
Areportagem esclarece que o modelo bipartido — no qual uma polícia faz a investigação e a outra faz a parte ostensiva — adotado no Brasil é raro. Entretanto, a reportagem coloca palavras na boca do candidato, dizendo que “ao contrário do que afirma Boulos, o modelo bipartido não é utilizado apenas no Brasil”. O problema é que o candidato não se referiu apenas ao modelo bipartido em sua frase que, apesar de raro, existe em outros países. Na mesma frase o candidato faz referência a outro aspecto da forma como se organizam as polícias no Brasil: uma é militar (a polícia ostensiva) e a outra é civil (a polícia investigativa). A reportagem não esclarece em momento algum se as duas dimensões apresentadas pelo candidato existem, ou não, simultaneamente, em outros países: (i) uma polícia ostensiva e outra polícia investigativa, sendo (ii) a primeira militar e a segunda civil. Para dizer o mínimo, faltou um pouco mais de pesquisa antes de tacar o carimbo de “falso”, uma vez que a reportagem ignorou completamente a dimensão militar-civil e focou-se apenas no modelo bipartido. Para checar se o modelo brasileiro “só existe aqui” como afirmou o candidato na primeira parte de sua afirmação, a agência deveria ter considerado que nossa “jabuticaba” possui 2 polícias federais civis, 27 polícias estaduais civis e 27 militares, além de diversas guardas municipais civis. Se este modelo bipartido, civil-militar com polícias federais, estaduais e municipais existir em outro país, daí sim o candidato estaria incorreto.
Divergência entre agências de checagem
A Agência Pública – Truco classificou como verdadeira a frase “Nós temos 6 milhões e 200 mil famílias sem casa e 7 milhões de imóveis vazios no Brasil”. Já a Aos Fatos classificou como insustentável a frase “ Tem mais casa sem gente que gente sem casa no Brasil”: haveria uma diferença tão profunda entre “gente sem casa” e “déficit habitacional” que valesse o rótulo “insustentável”?
Frase correta é classificada como exagerada: “Nós temos 760 mil presose o encarceramento em massa não vem reduzindo o crime no Brasil. Pelo contrário, ele serviu para organizar as facções em território nacional.”
O número correto é de 727,6 mil presos, ou seja, uma diferença de 4,5%. Que “exagero”, Manuela!
Frase correta é classificada como exagerada: “No Brasil pré-crise, 50% das mulheres já não conseguiam mais emprego depois de darem à luz.”
O número correto é 48%, ou seja, uma diferença de 4,2%. Outro exagero não da candidata, mas da agência de checagem.
Frase imprecisa é classificada como impossível provar: “[O Brasil teve] 64.700 homicídios nos últimos doze meses.”
A Agência Pública usa o dado de que foram 61.283, uma diferença de 5,6% em relação ao número usado pelo candidato. No Atlas da Violência 2018 o número de homicídios mais recente disponível é de 62.517, uma diferença irrelevante de 3,5%!
Outro exagero da agência: não foram os últimos doze meses anteriores ao do dia da fala do candidato, mas sim os últimos doze meses em que há dados consolidados disponíveis, que são os doze meses de 2016. Sinceramente, faz diferença dentro do contexto da fala? O candidato estava defendendo alguma tese em que muda o sentido se os números referidos dizem respeito ao intervalo contido entre janeiro e dezembro de 2016 ou entre março de 2017 e fevereiro de 2018? Com o rótulo “impossível provar” a Agência Pública fez parecer que a tese do candidato dizia respeito ao período selecionado, e não ao grande número de homicídios atualmente do Brasil. Faz alguma diferença, de fato, o candidato não ter dito “nos últimos doze meses em que há dados disponíveis”? Trata-se de uma imprecisão, sem dúvidas, mas é um exagero atribuir o rótulo “impossível provar” à frase.
Frase sem contexto é classificada como falsa: “A escalada do crime organizado e das facções criminosas produz uma impunidade de quase 92% – só 8% desses homicídios são esclarecidos.”
Um momento de bizarrice na checagem. A Agência Pública argumenta que, na verdade, não existe um número nacional consolidado, o que parece estar correto. Contudo, tampouco o candidato afirmou que se referia a um número nacional. O Rio de Janeiro é o estado em que atualmente está sendo feita uma intervenção militar federal criticada pelo candidato. E qual é a taxa de esclarecimento de homicídios do RJ? Pois é, os mesmos 8%! A informação está lá, na própria reportagem:
Frase correta é classificada como falsa: “O déficit da Previdência, depois de subtraídos os seus recursos pela DRU [Desvinculação de Receitas da União], chegou a R$ 180 bilhões ano passado.”
Dentre as diversas metodologias de cálculo possíveis para calcular o referido déficit, o mais próximo ao usado pelo candidato é o de R$ 192,1 bilhões. A diferença é de 6,7%! A Agência Pública não teve dúvida: tacou-lhe o rótulo de FALSO.
Frase imprecisa é classificada como exagerada: “Quando o Lula toma posse a taxa de câmbio a valor de hoje estava a R$ 9,20. E o Lula entrega pra Dilma a valor constante com taxa de câmbio de R$ 1,75. Ou seja, na constância do governo Lula o povo aumentou em 4 vezes a capacidade de consumir.”
A Agência Pública verificou que pelo IPC-A/IBGE o valor correto seria de R$ 8,54, ou seja: uma diferença de 7,7%. Trata-se de uma imprecisão inferior a 10%, sem dúvida, mas a alcunha de “exagerado” rendeu uma manchete mais espetacular.
Agência Pública força a barra para gerar manchete sensacionalista sobre Marina Silva: ela usa dados falsos, mesmo?
Frase imprecisa é classificada como falsa: “Metade dos jovens que entram no ensino médio não concluem.”
Metade significa “em torno de 50%”, como todos sabem. Na reportagem a Agência Pública afirma que “a pesquisa mostra que em 2015 a taxa de jovens que concluíam o ensino médio aos 19 anos era de 58,5%”. Noutra frase esclarecem que “a taxa de conclusão do ensino médio passou de 45,5% para 60,8% entre 2004 e 2014”, e concluem: “por isso, o Truco classificou a frase de Marina como falsa.” Não imprecisa. Não exagerada. Não discutível. Simplesmente falsa!
Frase imprecisa é classificada como falsa: “A maioria dos desempregados são jovens.”
A Agência Pública teve que fazer um malabarismo para lançar o rótulo de “falso” à afirmação da candidata. O correto seria a candidata ter dito que a maior taxa de desocupação se dá entre os jovens, e não que a maioria dos desempregados são jovens. Daí a atribuir à frase o rótulo de falso, francamente.
Truco faz opção por não usar a palavra “falso” em manchete sobre Álvaro Dias, apesar de atribuir-lhe — incorretamente — uso de dado falso na checagem
Frase sem contexto é classificada como falsa: “Eu fui governador, terminei o mandato com 93% de aprovação.”
Na própria reportagem a Agência Pública percorre o raciocínio de que “ainda que Dias tivesse somado ótimo/bom com regular — o que não deve ser feito, por estar errado estatisticamente –, ficaria com 91% de aprovação no primeiro levantamento e com 78% no segundo.” Oras, divergência metodológica foi o que rendeu o título de FALSO, ou foram os dois pontos percentuais que corresponde a uma diferença insignificante de 2,2%?
Agência Pública pega leve com Geraldo Alckmin e blinda distorções do candidato com manchete equilibrada: acertos e erros
Frase distorcida é classificada como verdadeira: “No ano passado, reduzimos 12,8% o roubo de carro; 6% caiu o latrocínio.”
A própria reportagem trata dos outros indicadores de criminalidade que tiveram aumento, como estupro (10% entre 2016 e 2017), roubo de carga (45% desde 2010) e lesão corporal seguida de morte (325% a mais ano passado). Os dados apresentados pelo candidato, sem o devido contexto, distorcem a compreensão sobre a criminalidade a que se refere por sugerirem ao eleitor que em seu governo só teriam havido melhorias nos indicadores de violência, o que não é verdadeiro. Por qual razão a agência não utilizou o rótulo distorcido nesta frase-propaganda proferida pelo candidato?
Frase distorcida é classificada como verdadeira: “O Brasil tem déficit primário. Imagina você dever R$ 3,5 trilhões. Não paga juros, não paga correção monetária, e gasta todo ano R$ 120 bilhões a mais.”
O número apresentado pelo candidato está correto, porém, numa frase cujo cenário distorce a realidade. O governo brasileiro paga juros todos os anos, religiosamente. O contexto de não pagamento de juros e correção monetária apresentado pelo candidato não tem qualquer aderência com a realidade brasileira. É no mínimo curioso a Agência Pública não ter percebido esse “pequeno detalhe” e ter liberado um carimbo de “verdadeira”.
Frase sem contexto é classificada como falsa: “Teve um aumento extraordinário de expectativa de vida dos homens em São Paulo. Não é que as mulheres estão morrendo mais, não. Elas também estão vivendo, aliás, vivem mais que os homens, mas diminuiu a diferença, porque caiu o assassinato.”
Se as informações alegadas pela assessoria do candidato forem verdadeiras — algo que a agência deveria ter checado — então não é possível atribuir o rótulo de falso à afirmação, uma vez que o incremento na expectativa de vida de 7,47 anos para homens e 4,85 anos para mulheres, de fato, é impressionante. Além disso, a comparação que o candidato alega fazer — por meio de sua assesoria — é com números do próprio estado ao longo do tempo, e não necessariamente com os de outros estados como a checagem sugere. Faltou o contexto, sem dúvidas, mas a informação definitivamente não é falsa.
Frase distorcida é classificada como verdadeira: “A maior seca do século passado tinha sido em 1953. Em 2014 choveu a metade de 53 e tivemos uma grande seca.”
A reportagem detalha com precisão a distorção na fala do candidato. Segundo a própria agência, os problemas de abastecimento em São Paulo não resultam apenas das condições climáticas anormais, mas também da falta de eficiência no gerenciamento do abastecimento do sistema paulista mencionado na própria reportagem. Consequentemente, o rótulo distorcido teria sido mais adequado do que o “verdadeiro” aplicado pela agência.
Frase sem contexto é classificada como verdadeira: “Conseguimos uma economia [no consumo de água] de 15% praticamente, que se manteve depois de passada a crise, com essa redução de consumo e uso racional da água.”
Nem o candidato nem a agência apresentaram a informação contextual de que, em plena crise hídrica, a Sabesp assinou contratos que davam desconto para grandes consumidores de água, o oposto do que se praticou com os pequenos consumidores. Ou seja, quanto mais água consumissem — em plena crise hídrica — mais desconto recebiam. No mínimo, foi um vacilo da equipe de checagem, com um agravante: foi a própria Agência Pública quem, em 2015, por meio da Lei de Acesso à Informação, descobriu os contratos de demanda firme assinados pela Sabesp com descontos para empresas que consomem muita água. Ignorância não deveriam ter nem alegar. Mais uma frase-propaganda do candidato em que o contexto problemático foi omitido e, mesmo assim, recebeu o carimbo de verdadeira pela agência.
Bolsonaro foi o único candidato cuja manchete e subtítulo não receberam nenhum adjetivo
Frase exagerada é classificada como falsa: “Eu nunca votei com o partido, tanto é que quem diz isso não sou eu. É o Joaquim Barbosa.”
A própria reportagem explicou detalhadamente o contexto em que a frase do candidato se aplica. É verdadeiro que nas 33 votações que envolveram a reforma tributária, ao longo de setembro de 2003, Bolsonaro foi contra o partido 31 vezes. Tanto o rótulo exagerado quanto o sem contexto cairiam bem aqui, porém, falso, é um exagero.
Frase imprecisa é classificada como verdadeira: “A gente cresce 2 milhões de habitantes por ano [no Brasil].”
O número correto seria de 1,8 milhões, o que corresponde a uma diferença de 11,1% em relação aos 2,0 milhões indicados pelo candidato. Francamente, não faz diferença no contexto, mas é curioso notar que se trata de um erro matemático superior a 10% e, apesar disso, a agência foi excepcionalmentegenerosa, tomando como base de comparação o tratamento dispendido a outros candidatos que, por desvios muito menores, tiveram suas frases rotuladas como “exageradas” ou “falsas” pela Agência Pública.
Algumas conclusões
No geral o trabalho dos jornalistas que fazem as checagens é muito bem feito, investigativo e profissional. Dois problemas se destacam. O primeiro é a lógica de classificação de rótulos muito categóricos, herméticos, a frases destacadas do contexto de um discurso político. A pressão por atribuir um rótulo parece estar levando os jornalistas a extrapolarem conclusões que não têm lastro em suas próprias verificações.
O rótulo mais extremo — “falso” — deveria ser usado com muito mais parcimônia pelos checadores. Falso deveria ser substituído por alguma palavra que não fique reforçando a ideia — falsa — de que políticos são mentirosos ou disseminadores de fake news em seus discursos. Ainda que isso possa ser verdadeiro, não parece ter sido o caso. Pessoas erram, são imprecisas, mas nem por isso estão usando ou criando dados falsos retirados do submundo em que usinas de fake news como o MBL se encontram. Eu usaria as palavras “errado” ou “equivocado” em substituição a “falso” e deixaria este último rótulo exclusivamente para casos em que candidatos porventura basearem-se, literalmente, em “fake news”, algo que não ocorreu nas 50 frases verificadas.
O rótulo “exagerado” deveria ter critérios mais transparentes. Não me parece razoável que números dentro de uma margem de erro de mais ou menos até dez porcento ou alguns poucos pontos percentuais sejam considerados exagerados quando não cravam com precisão milimétrica o número correto. Aproximações devem ser toleradas e respeitadas nos discursos orais, e a margem de erro deveria fazer parte das informações metodológicas de cada agência, até para padronizar e ter-se um mesmo critério de tolerância para todos os candidatos.
Números baseados em estudos, pesquisas ou abordagens controversas deveriam ser classificados desta forma, e não como falsos ou exagerados.
As manchetes deveriam valorizar mais o trabalho de checagem em si do que servir como caça-clique (“click bait”). A diferença entre “Checamos 8 frases de fulano”, “Em 8 frases, acertos e erros de ciclano”, e “Beltrano usa dados falsos e exagerados”, sendo que todos eles cometeram os mesmos tipos de acertos e de erros segundo a metodologia da agência, mostra uma certa falta de isonomia no tratamento das manchetes. Resistir à tentação de adjetivar as manchetes e buscar um maior equilíbrio no uso das palavras para todos os candidatos é uma boa prática a ser perseguida. Isto ajudaria a elevar a qualidade e a diferenciar as reportagens — e as manchetes — das agências de checagem daquelas produzidas sob uma lógica mais mercenária por empresas da mídia comercial e pelas usinas de fake news em busca de $$$.
Aos profissionais das agências de checagem e, especialmente, aos da Agência Pública, deixo aqui o registro da minha alta consideração pelo trabalho de vocês. De todo modo, assim como os políticos podem e devem melhorar a qualidade do seu trabalho estando abertos à crítica, os jornalistas também devem ter essa oportunidade.
Atualizações
Se eu próprio fui impreciso ou incoerente e alguma alma generosa puder me alertar, registrarei aqui as possíveis correções a este artigo. Meu e-mail é leandrosalvador [arrroba] gmail [ponto] com.
Atualização #1 (em 11.jun.2018 às 01h01): das oito frases do candidato Geraldo Alckmin, cinco haviam sido avaliadas como “sem contexto”. Entretanto, após ser alertado por um leitor, verifiquei que em três delas o rótulo mais adequado seria “distorcido” que, segundo os critérios de classificação da Agência Pública, deve ser aplicado nas frases em que “os dados foram usados na afirmação para produzir uma falsa interpretação da realidade”. Estas três frases, classificadas como verdadeiras pela agência, foram atualizado de “sem contexto” para “distorcido”, portanto:
- “No ano passado, reduzimos 12,8% o roubo de carro; 6% caiu o latrocínio.” → Conforme a própria reportagem, o candidato omitiu significativos aumentos em outros indicadores de criminalidade, tais como estupro, roubo de carga e lesão corporal seguida de morte.
- “O Brasil tem déficit primário. Imagina você dever R$ 3,5 trilhões. Não paga juros, não paga correção monetária, e gasta todo ano R$ 120 bilhões a mais.” → Na realidade, o governo brasileiro paga religiosamente os juros da dívida pública, de modo que esta frase distorce a realidade, conforme informações contidas na própria reportagem.
- “A maior seca do século passado tinha sido em 1953. Em 2014 choveu a metade de 53 e tivemos uma grande seca.” → Segundo a própria agência, os problemas de abastecimento em São Paulo não resultam apenas das condições climáticas anormais, mas também da falta de eficiência no gerenciamento do abastecimento do sistema paulista mencionado na própria reportagem.
Sergio Sete
12/06/2018 - 11h53
Isso nunca terá fim, pois um dos “lados” nunca ficará satisfeito.
Ricardo
12/06/2018 - 11h34
É a nova geração de idiotas da objetividade.
Leandro_O
12/06/2018 - 11h21
Muito bom!!! Já gostei mais da Agência Pública, até descobrir que recebe verba da Open Society Foundation, fundada por George Soros. Ainda que a AP alegue que nenhum financiador interfira nas pautas nem tenha acesso a nenhum conteúdo antes da publicação, me faz desconfiar dos limites e eixos a serem seguidos.