Dicionário da Educação Profissional em Saúde

Uma produção:Fiocruz /EPSJV.



VERBETES




AVALIAÇÃO EM SAÚDE

Zulmira Maria de Araújo Hartz

Apesar de se reconhecer que existem inúmeras definições de Avaliação, seus contornos no campo da saúde se delimitam no âmbito das políticas e programas sociais, consistindo fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes, permitindo aos diferentes atores envolvidos, que podem ter campos de julgamento diferentes, se posicionarem e construírem (individual ou coletivamente) um julgamento capaz de ser traduzido em ação. Este julgamento pode ser o resultado da aplicação de critérios e normas - avaliação normativa - ou, ser elaborado a partir de um procedimento científico - pesquisa avaliativa (Contandriopoulos, 2006). Sendo uma atividade formalmente utilizada na China há quatro mil anos para recrutar seus ‘funcionários’, no ocidente tem apenas dois séculos e, do século XIX até 1930 (1a geração), se limitava aos problemas de ‘medidas’ e às aplicações do método experimental (Dubois et al, 2008).

No domínio da saúde ela surge então, vinculada aos avanços da epidemiologia e da estatística, testando a utilidade de diversas intervenções, particularmente direcionadas ao controle das doenças infecciosas e ao desenvolvimento dos primeiros sistemas de informação que orientassem as políticas sanitárias nos países desenvolvidos (Estados Unidos, Alemanha, Inglaterra, França, Grã Bretanha, Suíça etc). O avaliador, nesse primeiro estágio, é essencialmente um técnico que precisa saber construir e usar os instrumentos para medir os fenômenos estudados e, somente no estágio seguinte (até os anos cinqüenta), começa a identificar e descrever os programas, compreender sua estrutura, forças e fragilidades para ver se é possível atingirem os resultados esperados e fazer as devidas recomendações para sua implementação. As ‘medidas’ passam a se colocar a serviço da ‘avaliação’, mas conceitualmente distintas, e os pesquisadores em ciências sociais exercem um papel cada vez mais importante na condução dos estudos avaliatórios considerando o avanço metodológico de suas disciplinas.

O terceiro estágio se inicia nos anos 1960 e vai até o final dos anos 1980, com o lançamento do livro de Guba & Lincoln (1989), precursores dessa sistematização histórica, anunciando o advento da ‘quarta geração de avaliadores’, que trataremos a seguir. Nesse terceiro estágio predominam a função de ‘julgamento’, como competência fundamental do avaliador, a institucionalização das práticas avaliativas e a emergência das iniciativas de profissionalização, como campo de conhecimento distinto, evidenciadas pelo número crescente das publicações específicas, a emergência das associações de avaliadores internacionais e dos padrões de qualidade. A passagem da segunda a terceira geração se justificava, sobretudo, por duas lacunas: apreciavam apenas os alcances dos objetivos ex-post, sem questioná-los em seu valor e relevância, não observando, portanto, as lacunas dos programas.

A quarta geração se coloca como uma alternativa, não excludente, dos referenciais anteriores, mas a avaliação torna-se ela mesma inclusiva e participativa, um processo de negociação entre os atores envolvidos na intervenção em que o pesquisador-avaliador também se coloca como parte e não apenas juiz. Guba & Lincoln (1989), consideravam que pelo menos três problemas comuns comprometiam as gerações precedentes, unificadas no paradigma positivista, no qual a produção de conhecimento é propriedade exclusiva dos especialistas nos métodos científicos: 1) apesar da ‘aparente’ objetividade por parte dos avaliadores a avaliação era predominantemente uma simples ferramenta gerencial nas estratégias políticas; 2) os julgamentos não tinham em conta o pluralismo de atores envolvidos, com diferentes valores e lógicas de regulação (técnica, política, democrática) dos sistemas de ação social, nem a influência deles decorrente no desenho e uso dos estudos; 3) privilégio de métodos quantitativos e das relações direta de causalidade, com desconsideração do contexto e outros elementos ‘não científicos’ na busca de se conhecer ‘a verdade’, ocultando sua contingência e relatividade, a moral e a ética do avaliador porque a ciência seria livre de valores.

Breve, as interpretações e interações de atores desempenham um papel não somente na produção de resultados e julgamentos, mas também no aprendizado como conseqüência da avaliação inclusive para todo corpo social nela interessado. Esses pressupostos apontam para a emergência da quinta geração de avaliação com participação da sociedade civil em todas as etapas (Baron & Monnier, 2003). A quinta geração (‘emancipadora’) combinaria as anteriores, mas ela implica a vontade explícita de aumentar o poder dos participantes graças ao processo de avaliação. Essa abordagem, como as demais, se compromete com a melhoria das políticas públicas, mas também a ajudar os grupos sociais a ela relacionados a melhor compreender os próprios problemas e as possibilidades de modificá-los a seu favor. Os autores, apoiados em uma longa experiência da avaliação de políticas públicas em diversos países, fundamentam seus argumentos concluindo que as chances de utilização dos estudos avaliativos decorrem dessa ‘co-produção’ dos participantes, em que o avaliador desempenha um papel pedagógico de mediador e tradutor do processo analítico e seus resultados.

Avanços e desafios atuais da avaliação em saúde

A quarta geração da avaliação, 20 anos depois, ainda aparece ‘emergindo’ no campo da saúde. Se a racionalidade positivista, do sujeito exterior ao objeto que estuda, foi parcialmente superada, até mesmo no discurso dos defensores da tradição científica, ela está de tal forma aculturada que a maioria de nossos pesquisadores e estudiosos continua assumindo esta forma do ‘ser científico’ em seus protocolos e atitudes. Pior, quando se adota a interação do sujeito com o objeto, enquanto inexorável à contextualização do próprio objeto, como é o caso das políticas de saúde, tem-se de pagar um certo ‘pedágio’ aos cânones ditos ‘acadêmicos’ para este reconhecimento. As tentativas nacionais de institucionalização da avaliação (Brasil, 2005 a, b e 2007), ainda que defasadas em relação à sua emergência nas políticas dos anos 1970-1980 (terceiro estágio), foram formuladas com as bases teóricas mais avançadas da literatura especializada, mas têm dificuldade de superar os limites do monitoramento de objetivos e metas que caracterizaram a segunda geração de avaliadores.

Essa nossa multiplicidade concomitante de estágios nas práticas avaliativas científicas e institucionais tornam a educação profissional para avaliação em saúde, e a democratização do campo, como grandes desafios inter-relacionados a serem enfrentados. A compreensão do avaliador como um profissional que analisa e julga as políticas sociais como um conjunto de fatores de proteção inserido entre os determinantes da saúde, exige que ampliemos os objetivos da formação acadêmica para contemplar a dualidade do pesquisador-ator comprometido com seu objeto de trabalho. No âmbito da gestão pública, estruturada em programas governamentais e orientada por resultados, essa dualidade se traduz como questões de natureza metodológica e política. A exigência de pluralidade de abordagens e atores demanda a obrigatoriedade de dispositivos institucionais, igualmente participativos, que regulamentem os estudos de avaliação garantindo a qualidade e utilidade do produto final.

A pesquisa avaliativa requer, para a qualificação dos programas em sua complexidade, a contribuição de diferentes disciplinas, rompendo paralelismos epistemológicos que precisam ser complementares na avaliação, tais como: a pesquisa biomédica e organizacional; a atenção individual e coletiva. Nos níveis regionais e locais a descentralização da gestão de programas força uma ampliação do conhecimento sobre a totalidade dos serviços implicados na obtenção dos efeitos desejados. Nesse tipo de avaliação, em que as parcerias legitimamente diferem em seus pontos de vista, surgem problemas específicos para a mensuração de desempenho em ‘rede’ com a necessária contextualização e participação nas pesquisas.

O interesse em construir maior capacidade em avaliação nas estruturas administrativas se coloca então como pré-requisito para uma maior conscientização dos limites e benefícios da avaliação, nas instituições governamentais ou não- governamentais, integrando o processo das reformas sanitárias, e não como uma atividade isolada. A educação profissional em avaliação deve ser, portanto  ‘politicamente realista’, superando uma das carências da formação de avaliadores: omitir os aspectos políticos das escolhas teórico-metodológicas fazendo crer, também, que a uma boa avaliação se seguem decisões imediatas, desconhecendo que este é apenas um dos elementos (nem sempre o mais importante) da agenda governamental, apelando para a perseverança na argumentação dos avaliadores. A avaliação em saúde, como processo que favorece a participação e o debate, redistribui seu ‘acesso’aos atores que, com os próprios meios, não têm capacidade de avaliar os serviços públicos ou contrabalançar interesses hegemônicos. Nesse enfoque, a institucionalização da avaliação reduz a assimetria entre o poder dos grupos constituídos da sociedade e os indivíduos que coletivamente a constituem, contribuindo para a democratização tanto da vida política como daquela interna às instituições.

Para saber mais

BARON, G. & MONNIER, E. Une approche pluraliste et participative: coproduire l’évaluation avec la société civile. Informations Sociales, n.110:1-7,2003.

BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Coordenação de Acompanhamento e Avaliação. Avaliação da Atenção Básica em Saúde: caminhos da institucionalização. Brasília, DF.,2005a.

BRASIL. Ministério da Saúde. Plano Nacional de Avaliação. Brasília: Ministério da Saúde. Secretaria de Vigilância de Saúde. Programa Nacional de DST/AIDS,2005b.

BRASIL. Ministério da Saúde. Política Nacional de Avaliação de Desempenho do Sistema Único de Saúde. Departamento de Apoio à Descentralização, Secretaria Executiva. 2007.

CONTANDRIOPOULOS, A. P. Avaliando a Institucionalização da Avaliação. Ciência & Saude Coletiva, vol.11(3):705-712,2006.

DUBOIS, C.A.; CHAMPAGNE, F.; BILODEAU, H. Histoire de l'évaluation: un processus soutenu de reconstruction des moyens de production des connaissances.In: BROUSSELLE, A.; CHAMPAGNE, F.; CONTANDRIOPOULOS, A,P.; HARTZ, Z. (Eds.). Concepts et méthodes d'évaluation des interventions. 2008(no Prelo).

FURTADO, J. P. Avaliação para conhecimento e transformação. In: BOSI, M. L. M. & MERCADO, F. J. (Orgs.). Avaliação Qualitativa de programas de Saúde. Enfoques Emergentes. Editora Vozes, pp.191 – 306, 2006.

GUBA, E. G.; LINCOLN, Y. S. Fourth Generation Evaluation. Newbury Park; CA; Sage Publications, Chapter 1: The Coming of Age of Evaluation, pp.21-49; Chapter 7: The Methodology of Fourth Generation Evaluation, pp.184-227, 1989.

HARTZ, Z. M. A. Princípios e Padrões em Meta-Avaliação: diretrizes para os programas de saúde. Ciência & Saúde Coletiva, vol. 11(3):733-738, 2006.

HARTZ, Z. M. A. Evaluation in health: regulation, research and culture in the challenges of institutionalization. Cadernos de Saúde Pública, Rio de Janeiro, v. 15, n. 2, p. 258-259, 1999.

MINAYO, M. C. S.; ASSIS, S. G.; SOUZA, E. R.(Orgs.) Avaliação por triangulação de métodos. Rio de Janeiro: Ed Fiocruz,2005.

VIEIRA DA SILVA, L. M. Conceitos, Abordagens e Estratégias para a Avaliação em Saúde. In: HARTZ, Z. M. A. & VIEIRA DA SILVA, L. M. (Orgs.). Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro/Salvador: Editora Fiocruz/Edufba, pp. 15 – 39, 2005.

WORTHEN, B. R.; SANDERS, J.R.; FITZPATRICK, J. L. Avaliação de Programas Sociais. 1ª ed. São Paulo: Instituto Fonte – Ed. Gente, 2004.

© 2009 Dicionário da Educação Profissional em Saúde. Todos os direitos reservados.
Fundação Oswaldo Cruz. Escola Politécnica de Saúde Joaquim Venâncio.
Av. Brasil - 4365 - Manguinhos - Rio de Janeiro - RJ - CEP 21040-900 Brasil - Tel.: (21) 3865.9797