BNDES - Agência de Notícias

O processo de monitoramento e avaliação de impacto tem se difundido e desenvolvido nas últimas décadas. Sua importância reside na disponibilização de informações que subsidiem decisões a respeito de aprimoramento, reformulação ou expansão de programas avaliados.

 

Para além das aplicações no setor privado, processos de monitoramento e avaliação têm ocupado seu espaço na escolha e no aprimoramento de políticas públicas, em um ambiente de maior busca por transparência e prestação de contas dos governos perante a sociedade. Embora sempre necessária, essa discussão ganha fôlego sempre que se aponta para a necessidade de racionalização dos gastos públicos, com vistas a aumentar a eficiência e eficácia das ações do setor público.

 

Entenda o que é avaliação e quais os principais conceitos relacionados

 

Avaliação é uma aferição objetiva da extensão do cumprimento dos objetivos de uma intervenção, política pública ou atividade. Tem como finalidades contribuir para o aprimoramento do planejamento e da gestão e demonstrar os resultados alcançados para as partes interessadas.

 

Quando avaliar?

Quanto ao momento em que ocorre, a avaliação pode ser classificada como:

• Ex ante: acontece anteriormente à intervenção e busca, com base em uma série de atributos e expectativas, mapear os efeitos esperados e, assim, selecionar as melhores estratégias ou unidades para sua execução. Embora apoiadas tanto quanto possível em evidências empíricas, avaliações desse tipo recorrem a modelos teóricos para transpor os dados históricos para a realidade da intervenção analisada. A Tese de Impacto de Investimento em Projetos é um exemplo de avaliação ex ante usada pelo BNDES.
• Ex post: objetiva a verificação da efetiva realização dos resultados plane­jados e/ou almejados. São de caráter predominantemente empírico, tendo como base a inferência estatística sobre os resultados observados, de modo a verificar em que medida as metas pretendidas foram alcançadas.

 

O que avaliar?

Há quatro dimensões que podem ser avaliadas em uma intervenção:

• economicidade;
• eficiência;
• eficácia; e
• efetividade.

 

Cada uma delas corresponde a uma etapa do modelo lógico de uma intervenção, como mostra a figura a seguir. A economicidade e a eficiência dizem respeito à minimização de custos, res­pectivamente, na aquisição e na utilização dos insumos. Eficácia e efetividade, por sua vez, correspondem à capacidade da intervenção de gerar, respectivamente, os produtos (objetivos intermediários) e resultados (objetivos finais) pretendidos, independentemente do custo incorrido.

  

Assim, podemos dizer que uma intervenção é:

 

• Econômica, quando a organização adquire os insumos ao menor preço possível e na quantidade estritamente necessária para a realização da atividade – respeitando o padrão de qualidade almejado.
• Eficiente, quando o processo maximiza a relação entre a quantidade de produtos obtida e os insumos utilizados, ou seja, obtém uma relação ótima entre insumos e produtos.
• Eficaz, quando se verifica a capacidade da intervenção em entregar os produtos julgados necessários para a obtenção dos objetivos.
• Efetiva, quando a intervenção gera a mudança social pretendida, ou seja, é capaz de materializar os resultados almejados ou objetivos finais.

 

As duas últimas dimensões, em certo sentido, têm caráter mais essencial que as duas primeiras. Um programa efetivo que não tenha eficiência ou economicidade pode ser reformado de modo a se reduzir desperdícios. No entanto, a falta de efetividade evidencia que algum elo da lógica de intervenção não funciona como previsto.

 

Conheça outros conceitos importantes para a atividade de monitoramento e avaliação

 

• Impacto: quando usado em contraste com o conceito de resultado, refere-se particularmente a efeitos de longo prazo associados aos objetivos mais amplos da política pública. Neste caso, resultado passa a significar o alcance de objetivos de curto e médio prazo especificamente almejados pela intervenção, e impacto refere-se ao alcance de objetivos gerais de longo prazo (para os quais a intervenção específica contribui, mas não é necessariamente capaz de atender). 

 

• Efeito direto versus indireto: equivale à dicotomia resultado versus impacto. 

 

• Efeito causal: efeito líquido de um programa ou atividade, excluída a contribuição de fatores externos. Implica a comparação da mudança observada ao longo do período da intervenção com uma estimativa do que aconteceria caso o programa não existisse (o “resultado contrafactual”). Trata-se de um requisito necessário a qualquer avaliação de efetividade.

 

• Externalidade: termo utilizado pela economia para designar efeitos de uma decisão sobre indivíduos que não participam da tomada dessa decisão. No contexto de avaliação, aplica-se aos efeitos colaterais sobre agentes sociais que não são beneficiários imediatos da intervenção.

 

• Sustentabilidade: capacidade de um programa gerar efeitos de longo prazo; ou seja, as mudanças alcançadas tendem a se perpetuar no tempo (dinâmica instituída permanece depois do programa).

 

• Focalização: refere-se à alocação dos recursos disponíveis de um orçamento nas unidades ou atividades que possibilitarão melhores resultados e/ou em que eles são mais necessários. Por exemplo, nos grupos mais vulneráveis ou nas falhas de mercados. A focalização tende a aumentar a eficiência da política pública; contudo, um programa muito focalizado pode ter um efeito total restrito. Uma das dificuldades da focalização é o custo ou a disponibilidade de obter informações que permitam identificar as melhores unidades a receber a intervenção.

 

• Cobertura: refere-se ao percentual de unidades que participam da intervenção em relação ao universo de unidades que atendem aos critérios de participação. Supondo que a intervenção esteja corretamente focalizada, espera-se que o aumento da cobertura eleve o impacto total, mas reduza seu impacto marginal, uma vez que cada nova unidade atendida será beneficiada em menor grau. Acima de um determinado patamar, a expansão do programa poderá até mesmo tornar-se inócua.

 

Aplicando os conceitos a um programa de apoio à exportação

 

Considere um programa de apoio à exportação de determinada indústria que tem como objetivo final a ampliação do emprego da mesma, por meio de sua inserção internacional. Propõe-se a seguinte lógica: (i) o financiamento aumenta a competitividade no mercado internacional permitindo a expansão das exportações; (ii) a produção cresce para atender a essa nova demanda; e (iii) as empresas contratam mais para viabilizar o aumento da produção.

 

Nesse caso, a oferta de condições competitivas seria o produto, e a inserção internacional é vista como um resultado/efeito direto. Já o aumento do emprego é visto como impacto/efeito indireto, na medida em que é o objetivo final da política. É possível que o programa seja bem sucedido em oferecer condições competitivas, aumentando a exportação, mas ainda assim não tenha o impacto almejado, isto é, o aumento do emprego. Por exemplo, a indústria pode ser incapaz de aumentar a produção por escassez de algum insumo específico. Ou pode mudar o processo de produção, de forma a aumentar a produção sem que aumente o emprego. Se, por outro lado, o exportador, além de aumentar sua produção, passa a demandar mais insumos da cadeia produtiva, pode-se dizer que houve externalidade positiva.

 

Pode-se avaliar que o programa foi bem focalizado se os financiamentos se destinaram em larga medida para exportações que não seriam viabilizadas sem o apoio. O percentual apoiado das exportações da indústria considerada representa a cobertura do programa. Por fim, se as empresas passam a aumentar sua atividade internacional para além da oferta do apoio, entende-se que a política apresenta características de sustentabilidade.

 

Este texto é baseado no conteúdo do Texto para Discussão 139, Conceitos e metodologias de avaliação aplicáveis ao financiamento de exportações de serviços, dos autores Rafael de Carvalho Cayres Pinto, Elydia Silva Hirata e Luiz Filipe de Castro Neves.

 

 

Conteúdos relacionados

 

Saúde fiscal dos municípios brasileiros: avaliando o impacto do BNDES

 

Mensuração de impacto: os casos do Banco Mundial e do BNDES

 

Como o BNDES avalia seus projetos?