A avaliação das políticas públicas como uma nova ferramenta de apoio à tomada de decisão pública surgiu nos Estados Unidos na década de 1960 antes de se desenvolver no Reino Unido , nos países escandinavos e depois em outras democracias ocidentais vinte anos mais tarde, em particular por iniciativa da Comissão Europeia , que o tornou um requisito regulamentar sistemático no quadro do financiamento atribuído aos Estados-Membros a partir da década de 1990 .
Fortemente ligada à racionalização da ação pública, a avaliação visa determinar em que medida uma política pública atingiu os objetivos que lhe foram atribuídos e produziu os impactos esperados nos públicos em causa.
Na Europa , a avaliação geralmente consiste em analisar os resultados de uma intervenção pública para saber se ela atingiu os objetivos que lhe foram atribuídos. De uma forma mais ampla, a avaliação pretende construir um juízo sobre o valor da intervenção pública que se baseia “nos seus resultados, nos seus impactos e nas necessidades que esta intervenção procura satisfazer” e com base em dados empíricos, recolhidos e analisados especificamente para o efeito.
Na França, um decreto de 1990 especifica: "para avaliar uma política, é verificar se os meios jurídicos, administrativos ou financeiros implementados permitem produzir os efeitos esperados dessa política e atingir os objetivos que lhe são fixados" . Para o “relatório Deleau” (1985), é também “reconhecer e medir seus próprios efeitos” ; e, portanto, todos os efeitos de uma política, em uma visão precisa, mas também holística, distinguindo a parte entre os efeitos devidos à ação pública e aqueles dependentes de outros fatores (“exógenos”).
Quando a avaliação é encomendada por uma instituição, geralmente responde a perguntas específicas (por exemplo, "Em que casos a intervenção X permitiu que os desempregados encontrassem um emprego duradouro e por quê?").
Os destinatários das conclusões e recomendações da avaliação são principalmente autoridades públicas, mas também instituições democráticas, os seus parceiros públicos ou privados, a comunidade científica ou, de um modo mais geral, os cidadãos.
A avaliação é dita “ex ante” se anteceder o início da intervenção estudada; intermediário ou final se ocorrer durante ou no final da intervenção; "Ex post" quando é realizado após a interrupção da intervenção avaliada.
Pode ser realizado internamente, pelos gestores operacionais da intervenção avaliada ( autoavaliação ) ou por serviço especializado em avaliação, ou confiado a terceiros, autoridade administrativa independente ou equipa de profissionais contratados.
Para os patrocinadores de uma avaliação, a avaliação é usada para:
Qualquer processo de avaliação rigoroso envolve o uso de uma grade (o benchmark) que leva à auditoria, questionamento e avaliação do processo em questão de vários ângulos de vista e uma bateria de critérios, entre os quais mais frequentemente encontramos:
Os repositórios são múltiplos e dependem dos objetos avaliados. Assim, para a avaliação de políticas de ajuda aos países em desenvolvimento, pode ser utilizada como a da OCDE ou a do Banco Mundial .
A avaliação não é a única atividade voltada para o aprimoramento da formulação e gestão das políticas públicas: o controle da legalidade e o controle da gestão são práticas antigas na esfera pública, enquanto, desde a década de 1990, um certo número de práticas decorrentes da empresa foram adaptadas à gestão. : análise de qualidade , auditoria organizacional , etc.
Ao contrário de outras práticas administrativas, como o controle e fiscalização da legalidade, que se limitam à análise dos processos internos da instituição, a avaliação se concentra principalmente nas consequências externas das ações públicas e procura determinar os nexos causais entre essas e as mudanças socioeconômicas.
A avaliação não julga a conformidade de uma intervenção com a lei ou com as boas práticas de gestão contabilística, como o Tribunal de Contas ou uma inspecção podem fazer em França . A avaliação julga uma intervenção do ponto de vista dos efeitos obtidos ou da solução proporcionada aos problemas socioeconómicos.
Por fim, devemos distinguir entre auditorias de desempenho e avaliação de intervenções públicas: o desempenho diz respeito aos resultados e consequências diretas e imediatas da intervenção, os resultados (de que forma os radares rodoviários levaram à redução da velocidade dos veículos?), Quando a avaliação enfoca os impactos dessa política (como os radares reduziram o número de mortes e feridos no longo prazo?).
A avaliação está desenvolvendo nos Estados Unidos em meados do XX ° século . Foram os vastos programas sociais empreendidos por Lyndon B. Johnson para erradicar a pobreza como parte de sua política da Grande Sociedade que serviu como o primeiro campo de experimentação em grande escala para a avaliação.
Os pesquisadores que então estabeleceram protocolos para verificar os resultados de programas educacionais, de saúde e sociais querem substituir as práticas desestruturadas da época por uma abordagem formal e científica para o desenho de políticas públicas.
Um pioneiro dessa abordagem formal é o sociólogo James S. Coleman , que em 1966 conduziu um importante estudo estatístico sobre a segregação escolar, a “ Igualdade de Oportunidades Educacionais ”.
É nessa época que se desenvolvem as chamadas avaliações experimentais , que se pretendem semelhantes à realização de exames laboratoriais: os beneficiários, os escolares por exemplo, são acompanhados a longo prazo e sua trajetória comparada com a dos não beneficiários. Se esses estudos têm o mérito de se basearem em uma metodologia rigorosa, eles só produzem conclusões depois de vários meses ou anos e rapidamente se encontram em descompasso com o tempo político.
Foi em reacção a este problema que, nas décadas de 1970 e 1980 , a avaliação saiu da comunidade científica para se tornar um instrumento de apoio à decisão ao serviço do poder público: entrou no ciclo de vida das políticas públicas e passou a ser, pelo menos teoricamente, uma passo necessário para melhorar uma intervenção.
Foi também nessa época que surgiu o conceito de Nova Gestão Pública (New Public Management) que preconiza a aplicação da prática privada ao público, em especial para melhorar o custo-efetividade do relatório de políticas públicas. A avaliação será então utilizada cada vez mais para justificar a eficácia das políticas públicas, ou seja, a sua capacidade de atingir os objetivos que se propõem.
Em 1990 , finalmente, em paralelo com o surgimento da sociedade civil como ator do sistema de comércio e desenho de políticas públicas, a avaliação é aberta a todos os parceiros e, mais amplamente, às partes interessadas e torna-se, especialmente na França , um instrumento de diálogo. Esse desenvolvimento pode ser observado de duas maneiras:
Foi no início da década de 1990 que a Comissão Europeia se tornou, em grande medida, um prescritor da avaliação e divulgou-a nos Estados-Membros da União , nomeadamente tornando obrigatória a avaliação de programas e projectos com financiamento europeu.
No final da década de 1990, a Comissão Europeia desenvolveu um vasto corpus educacional adaptado às políticas públicas dos países europeus e que até então não existia. Desde então, este corpus tem sido atualizado regularmente, e a Comissão Europeia continua a fornecer inúmeros guias e manuais sobre avaliação de políticas públicas, disponíveis em acesso aberto no seu site.
Desde 2000, as Direcções-Gerais da Comissão Europeia realizaram anualmente cerca de cem avaliações retrospectivas de programas, atribuindo-lhes um orçamento médio de 45 milhões de euros. Este investimento corresponde a um desejo sustentado de usar a avaliação para “melhor informar a tomada de decisão”, “melhorar a legislação” e “focar nos resultados e na transparência”.
Em 2010, a nova Comissão criada por José Manuel Barroso anunciou o seu desejo de submeter sistematicamente a legislação europeia a avaliações, como o que é feito para os programas operacionais .
Nota: uma cronologia precisa para o período de 1945 a 2004 está disponível no site Documentation française.
Na França, foi a racionalização das escolhas orçamentárias ( RCB ), ela própria inspirada no sistema americano de planejamento e programação orçamentária ( PPBS ), que em 1968 parecia ser o pioneiro do processo avaliativo. Nessa abordagem, que será abandonada no início da década de 1980, é dada especial atenção à relação custo-eficácia da ação pública por meio de estimativas ex ante.
Nas décadas de 1970 e 1980, a avaliação de políticas públicas permaneceu essencialmente uma questão de pesquisadores, ainda que em 1983 tenha sido criada a Assembleia Parlamentar de Avaliação de Escolhas Científicas e Tecnológicas .
Só no final da década de 1980 o Estado assumiu a avaliação e a transformou em instrumento de modernização. O governo Rocard recomenda, portanto, a integração da avaliação no ciclo de implementação de políticas públicas. No mesmo ano, o projeto de lei que institui o RMI inclui, pela primeira vez, um “sistema de avaliação independente e regular das ações de integração realizadas” (art. 37), e um Conselho Científico de Avaliação (CSE), cujo objetivo é apoiar a avaliação interministerial , foi criado (este será substituído em 1998 por um Conselho Nacional de Avaliação, antes de ser extinto em 2008 no âmbito do RGPP ).
Nos anos seguintes, dois incentivos apoiarão a divulgação da avaliação nos serviços do Estado e nas comunidades, principalmente regionais :
Este contexto fará rapidamente dos Conselhos Regionais um dos principais atores da avaliação na França, inclusive para as suas próprias intervenções.
Em 1999, foi criada a Société Française d'Évaluation com o objetivo de estruturar e promover a profissionalização da avaliação na França. No mesmo ano, a Assembleia da República instituiu uma Missão de Avaliação e Controlo (MEC), que publica entre dois a quatro relatórios por ano sobre temas como "política de auto-estradas" (objecto do primeiro relatório de informação). Do MEC), ou no âmbito da atual legislatura, o Museu do Louvre ou os pólos de competitividade.
A metade da década de 2000 inicialmente parecia muito favorável à avaliação em nível estadual, mas os resultados são, em última análise, mistos, em comparação com o grande desenvolvimento dessa prática nas comunidades locais.
Em primeiro lugar, dois grandes projetos de modernização dos gastos e da ação pública, a adoção da Lei Orgânica das Leis Financeiras (LOLF) e o lançamento da Revisão Geral de Políticas Públicas (RGPP) generalizaram-se no Estado a gestão por objetivos e a necessidade de demonstrar a razão de ser e a eficácia da ação pública.
No entanto, apesar da aparente proximidade entre a abordagem avaliativa e o RGPP, a avaliação acaba por parecer muito pouco presente, por um lado porque “favorece a utilização de estudos, auditorias e avaliações já realizadas no lançamento de larga escala recolha de dados ”, e por outro lado, pela prioridade dada à redução da despesa orçamental no processo (tratada por auditoria), em detrimento de reflexões mais profundas sobre a natureza das intervenções do Estado.
Em seguida, foi criada em 2007 uma Secretaria de Estado de Prospecção e Avaliação de Políticas Públicas, chefiada por Eric Besson . Essa secretaria foi extinta em 2009.
Finalmente, em 2008, a avaliação das políticas públicas entrou na Constituição , cujo artigo 24 afirma “Parlamento vota a lei. Ele controla a ação do Governo . Avalia políticas públicas ”. O Artigo 51-2 reafirma o papel do Parlamento na avaliação das políticas seguidas pelo governo e permite que ele crie comissões de inquérito para exercer essa função, enquanto o Artigo 47-2 indica que o Tribunal de Contas auxilia o Parlamento e o governo na avaliação de políticas publicas. O Parlamento anunciou que pretende retomar esta revisão constitucional e desempenhar plenamente o seu papel de acompanhamento e avaliação antes do final da presente legislatura.
Todas as instituições envolvidas na avaliação de suas intervenções não o fazem pelos mesmos motivos. É possível identificar três tipos de procedimentos de avaliação, tendo em vista que na prática esses tipos não são mutuamente exclusivos:
Uma das especificidades da avaliação é que procura estimar o impacto real de uma dada intervenção pública que deve ser distinguida da mudança socioeconómica que se pode observar (ver diagrama abaixo). Abaixo).
É claro que é muito difícil estimar essa contribuição com precisão. Os métodos geralmente utilizados procuram isolar o contributo de uma intervenção comparando a situação “com a intervenção” com as situações “sem intervenção” e / ou “antes da intervenção” com “após a intervenção”. ”.
O primeiro trabalho de avaliação de inspiração médica nos Estados Unidos buscou empregar o método experimental com uma amostra de controle (por condição aleatória ), mas isso rapidamente se mostrou difícil de aplicar para políticas de avaliação (veja abaixo). Outros métodos baseados em um contrafactual podem ser usados para avaliar uma intervenção simples ou para avaliá-la em um único indicador (empregos criados, por exemplo).
No caso de intervenções mais complicadas do que uma ação isolada, não é possível recorrer a este tipo de método: é então necessário procurar, passo a passo e com ferramentas diversas, pistas dos efeitos produzidos pela intervenção.
Trata-se de um método que visa imitar, no campo das ciências humanas , os métodos decorrentes da medicina ou, mais geralmente, das ciências naturais : o método experimental consiste em testar uma hipótese de causalidade sobre uma dada população, comparando um o chamado grupo “experimental” de beneficiários com um grupo “controle” de não beneficiários estritamente idênticos. O método requer a atribuição aleatória de pessoas a qualquer um dos grupos, a fim de eliminar o risco de viés de amostragem .
O método experimental é frequentemente considerado a única abordagem científica para medir impactos, pois permite superar a influência de fatores contextuais que afetam as duas amostras da mesma forma. Este é, por exemplo, o método que foi usado para a avaliação dos experimentos RSA .
O método experimental, no entanto, não é isento de falhas e nem sempre é aplicável ou mesmo desejável:
Em resposta às críticas anteriormente mencionadas sobre a dificuldade de se estabelecer um grupo de controle aleatório, diferentes protocolos foram desenvolvidos que contam com grupos de comparação estatisticamente semelhantes, por exemplo, um grupo de indivíduos não beneficiários ou organizações com características semelhantes no mesmo território. .
Esses métodos compartilham com o método experimental duas características principais, a comparação entre duas situações para isolar um efeito da intervenção e a lógica de atribuir o efeito observado à intervenção.
Nestes métodos, a comparação é geralmente feita:
Também é possível usar modelos econométricos para simular a situação “com” e “sem”.
Esses métodos geralmente oferecem um bom meio-termo entre a validade e o protocolo complicado, desde que os dados necessários possam ser coletados. Na verdade, os dados que seriam mais úteis para estudar em detalhe os efeitos já observados raramente estão disponíveis, pois deveriam ter sido coletados desde o início da intervenção.
No entanto, um programa público ou uma lei raramente identifica explicitamente todos os efeitos que pretende obter, bem como os meios para os atingir. Além disso, muitas vezes eles têm efeitos inesperados, ou os efeitos esperados são obtidos de uma forma não prevista com antecedência. Como resultado, muitas vezes é difícil definir a priori os indicadores que serão úteis quando a intervenção terminar.
Na realidade, a avaliação quase sempre deve lidar com políticas públicas muito complicadas para que seus efeitos possam ser analisados como um todo com um simples contrafactual:
Para obter evidências suficientes, é geralmente necessário combinar várias ferramentas de estruturação, coleta e análise para levar, por meio de um pacote de índices convergentes, a uma análise válida dos efeitos de uma intervenção e de como esses efeitos foram alcançados. É por isso que essas avaliações geralmente fazem uso de um grande número de ferramentas de coleta e análise de ciências sociais, em particular séries de entrevistas , pesquisas , estudos de caso e entrevistas em grupo . Eles podem, no entanto, integrar totalmente ferramentas puramente quantitativas para lidar com hipóteses precisas.
Em métodos mistos, a análise de impacto é geralmente feita tornando visíveis, passo a passo, as hipóteses causais mais ou menos explícitas que ligam as ações públicas a um ou mais efeitos esperados, verificando então de fato se o que foi planejado aconteceu e por quê. Este método é denominado avaliação baseada na teoria , porque permite estimar os impactos testando escrupulosamente a teoria de ação da intervenção. Ferramentas específicas são utilizadas para reconstruir e testar essa lógica, como o quadro lógico , utilizado principalmente para a avaliação de projetos de desenvolvimento, e o fluxograma .
Tal como acontece com as análises de atribuição, existem vários métodos “baseados na teoria”. Assim, a chamada análise de contribuição baseia-se na revisão sistemática de todas as evidências passíveis de invalidar ou confirmar as hipóteses causais, até que seja obtida uma “conta de contribuição” fiel aos dados coletados.
Nota: os seguintes livros estão disponíveis nas livrarias.