N.º 14 - October 2017

DOI: https://doi.org/10.30553/sociologiaonline.2017.14.2

Cristina Nascimento
Instituto Universitário de Lisboa (ISCTE-IUL), Departamento de Sociologia e Políticas Públicas & Instituto Universitário de Lisboa (ISCTE-IUL), Centro de Investigação e Estudos de Sociologia (CIES-IUL), Edifício ISCTE, Av. das Forças Armadas, 1649-026 Lisboa, Portugal.
Email: a26002@iscte.pt

Luís Capucha
Instituto Universitário de Lisboa (ISCTE-IUL), Departamento de Ciência Política e Políticas Públicas & Instituto Universitário de Lisboa (ISCTE-IUL), Centro de Investigação e Estudos de Sociologia (CIES-IUL), Edifício ISCTE, Av. das Forças Armadas, 1649-026 Lisboa, Portugal.
Email: luis.capucha@iscte.pt

Coordenadas GPS: Um instrumento de avaliação

Resumo: O presente artigo apresenta uma proposta de um instrumento para a avaliação de projetos locais de desenvolvimento social, baseado nas avaliações conduzidas pela teoria, com designação Coordenadas GPS. O modelo recorre a uma abordagem qualitativa e quantitativa, na qual são importantes tanto a opinião e perceção dos atores, como as leituras de variáveis e indicadores objetivos.
Na intervenção social a avaliação constitui um elemento que tem de ser particularmente considerado, para que seja possível uma compreensão abrangente da intervenção, permitindo recolher, sistematizar e analisar informação sobre a eficácia e a eficiência dos projetos no quadro de sistemas de aprendizagem, reflexão e monitorização das intervenções. O instrumento proposto assume-se como uma ferramenta útil para a capacitação e desenvolvimento das populações, dos técnicos e das instituições e comunidades onde decorrem aqueles projetos.

Palavras-chave: avaliação de projetos, intervenção social, desenvolvimento social, metodologias de avaliação.

Coordenadas GPS: An instrument of evaluation

Abstract: This paper introduces a proposal of an instrument for the evaluation of local social development projects, based on the perspectives of the theory-driven evaluations, named Coordenadas GPS. The model uses a qualitative and quantitative approach in which both individual’s perceptions and the analysis of several variables and indicators are crucial.
Assessments are particularly relevant in social intervention to understand what happens and why. This instrument will allow the collection of comprehensive information about the efficacy and the efficiency of the projects, in the framework of a system of learning, reasoning and monitoring of the interventions. The proposed evaluation tool is understood as a useful device for the capacitation and empowerment of the populations, staff, institutions and communities targeted by territorial social development projects.

Keywords: project evaluation, social intervention, social development, evaluation methodologies.

Introdução

O trabalho que aqui se apresenta é fruto da necessidade sentida aquando a execução de um projeto de intervenção social — CLDS+ “ViaGPS”—, no âmbito do Programa Contrato Local de Desenvolvimento Social +, no qual foi notória a importância de se construir um instrumento de avaliação capaz de assegurar uma boa prestação de contas, a aprendizagem e capacitação dos intervenientes (responsáveis, técnicos, parceiros, populações) e a construção de mecanismos de autocorreção a partir da compreensão dos mecanismos que afetaram a eficácia do projeto e o sucesso e o insucesso das ações desenvolvidas, na lógica da “avaliação realista”. O instrumento em referência visa ainda potenciar a replicação e reprodução alargada de boas práticas, na medida em que a avaliação orientada pela teoria, que constitui um dos seus fundamentos, permite decolar de casos concretos e comparar situações e procedimentos.

Há muito que se sabe como, para combater a pobreza, aos sistemas de política social não chegam os serviços regulares da ação social ou a atribuição de rendimentos de proteção social. Existem dinâmicas individuais e coletivas de base territorial que requerem estratégias de desenvolvimento integrado e participado, exigindo abordagens multissectoriais, integradas e sistémicas.

 O Programa CLDS+, enquanto instrumento de política social, tem por finalidade promover a inclusão social dos cidadãos através de ações, a executar em parceria, que permitam contribuir para o aumento da empregabilidade, para o combate às situações críticas de pobreza (especialmente a infantil) e à exclusão social em territórios vulneráveis, envelhecidos ou fortemente atingidos por calamidades. Dá igualmente especial atenção à concretização de medidas que promovam a inclusão ativa das pessoas com deficiência e incapacidade.

O sistema de monitorização e avaliação previsto no normativo do Programa CLDS+ assume-se como um dispositivo de controlo com características marcadamente administrativas. É, pois, muito limitado do ponto de vista do que se consideram hoje boas práticas no domínio da gestão de políticas públicas.

Na verdade, a avaliação das políticas públicas constitui uma das mais importantes funções da respetiva reflexividade e é hoje reconhecida como uma exigência, por um lado, da prestação de contas por parte do Estado e dos seus agentes e, por outro lado, como um dispositivo indispensável de aprendizagem e aperfeiçoamento dos próprios programas e projetos, através dos quais se concretizam as políticas públicas.

Torna-se assim necessário o recurso a instrumentos que permitam a avaliação dos projetos de forma a aferir o grau de eficácia e retroagir no sentido de se estabelecerem as necessárias correções e aperfeiçoamentos. Pretende-se, neste caso, dada a lacuna referida, construir um instrumento metodológico que possibilite o acompanhamento de iniciativas do tipo do Projeto CLDS + “ViaGPS”, bem como o reforço da sua autoavaliação, abrangendo um conjunto de domínios (da “conceção/teoria da mudança”, da “operacionalização”, da “realização” e dos “impactos”), recorrendo a uma abordagem qualitativa e quantitativa e tendo como base a valorização do contributo dos diversos atores sociais, numa lógica participativa.

Qualquer dispositivo de avaliação tem subjacentes opções estratégicas que influenciam o desenvolvimento do processo implementado. Neste sentido, os capítulos seguintes dão conta dessas opções, começando por abordar o contexto que justifica a proposta aqui apresentada.

Programa CLDS+ (Contrato Local de Desenvolvimento Social+)

O Programa CLDS+ inscreve-se numa linha contínua de uma parte relevante das políticas de luta contra a pobreza em Portugal, que têm como referência fundadora os trabalhos de Manuela Silva no âmbito do desenvolvimento social, realizados nos anos 60, e foram posteriormente acionados, a partir de finais dos anos 80, sob o impulso de programas como os PELCP (Programas Europeus de Luta Contra a Pobreza), o PNLCP (Programa Nacional de Luta Contra a Pobreza), o Horizon 1, o Integrar, a Iniciativa Comunitária EQUAL e o Progride, o qual antecede os CLDS.

Essa tradição política portuguesa no plano da luta contra a pobreza é caracterizada (i) pelo pressuposto de que a pobreza está relacionada com o desenvolvimento e tem uma importante dimensão territorial; (ii) pela lógica top-down na seleção dos territórios; (iii) pela abordagem multidimensional como racional de intervenção; (iv) pelo trabalho em parceria, em boa parte devido à multidimensionalidade dos problemas; (v) pela lógica de projeto a que obedecem as intervenções, as quais têm uma duração limitada, objetivos definidos e ações a desenvolver resultantes de diagnósticos locais) (Capucha, 2005).

Os CLDS preenchem estes requisitos, mas numa versão empobrecida. Na verdade, o diagnóstico é o da Rede Social e não necessariamente o do território em que os projetos de desenvolvem e as ações são determinadas também centralmente por via dos eixos e ações obrigatórias a que os projetos obedecem, sem ter em linha de conta as especificidades do território a ser intervencionado.

Realizaram-se entre a primeira geração (CLDS) em 2007, a segunda (CLDS+), em 2013, e a terceira (CLDS3G) um total de 222 projetos locais, 55 em territórios “moderadamente integradas” (terminologia utilizada pelo programa para tipificar os territórios), 9 em territórios “contraste e base turística”, 58 em territórios “envelhecidos e economicamente deprimidos”, 45 em territórios “envelhecidos e desertificados”, 21 em territórios “ameaçadores e atrativos” e 34 em territórios de “indústria com forte desqualificação”.

As ações definidas em cada eixo de intervenção do Programa CLDS+ constam obrigatoriamente em plano de ação e não consideram as necessidades específicas do território a ser intervencionado, sendo que os objetivos gerais de intervenção em cada eixo se apresentam uniformes em todos os projetos implementados ao abrigo do referido programa.

Da primeira geração para as seguintes o âmbito do programa foi-se fechando, perdendo as chamadas “ações voluntárias” e um eixo chamado “informação e acessibilidade”, reforçando-se assim a lógica top-down no desenho dos projetos, em função do co-financiamento do Programa pelo Fundo Social Europeu.

Ora, sendo os territórios por natureza diferenciados e apresentando necessidades de intervenção específicas, a uniformização dos eixos de intervenção poderá colocar em causa a adequação da intervenção à real necessidade dos territórios onde os projetos são desenvolvidos. A essa dificuldade acresce uma outra: o tempo de execução do projeto (24 meses) apresenta-se como um fator crítico, uma vez que processos de mudança requerem tempo e projetos desta natureza necessitam de conquistar a confiança da comunidade, o envolvimento da população e a mobilização das várias entidades parceiras.

O CLDS+ foi financiado por verbas provenientes dos resultados líquidos da exploração dos jogos sociais e pelo Fundo Social Europeu, através da Tipologia de Intervenção 6.13 — Contratos Locais de Desenvolvimento Social+, (FSE — Eixo 6 — Cidadania, Inclusão e Desenvolvimento Social do Programa Operacional Potencial Humano (POPH) e correspondentes tipologias de intervenção do Eixo 8 — Algarve e Eixo 9 — Lisboa, do Quadro de Referência Estratégico Nacional (QREN). Os limites máximos de financiamento foram definidos em função das características dos territórios abrangidos.

A organização dos CLDS não mudou com as gerações. Foram sempre marcados por uma lógica fortemente administrativista, por via de uma definição à priori da atribuição de responsabilidades aos municípios que escolhem as entidades promotoras, um processo de aprovação dos projetos pré-determinado pela escolha centralizada do território e um mecanismo de avaliação meramente formal e burocrático, consistente no mero preenchimento de relatórios de conteúdo uniformizado e cujo destino é meramente administrativo (Nascimento, 2015). Daí a importância do modelo proposto.

Projeto CLDS+ “ViaGPS”

O projeto CLDS+ “ViaGPS” foi determinado, como descrito, através de abordagem top-down entre o Instituto da Segurança Social, a Autarquia e a entidade executora/coordenadora escolhida por esta.

O sistema de monitorização e avaliação, definido, como se disse, era idêntico ao de todos os projetos enquadrados pelo Programa CLDS+. Consistiu na elaboração de relatórios (relatório de monitorização, relatório anual e relatório final), de controlo essencialmente administrativo. Não foram construídos instrumentos que permitissem a avaliação dos projetos de forma a aferir o grau de eficácia e eficiência e retroagir no sentido de se estabelecerem as necessárias correções e aperfeiçoamentos ao nível do diagnóstico, dos objetivos/teoria do projeto (Astbury & Leeuw, 2010), do plano e do processo de intervenção. Também não permitia refletir sobre os mecanismos que facilitaram ou dificultaram a consecução dos objetivos, isto é, como se processou a relação entre as ações e os resultados, nem tão pouco discorrer sobre a qualidade da teoria intrínseca ao projeto ou transferir conhecimento.

A avaliação e monitorização da execução do plano de ação do CLDS+ competia ao Instituto da Segurança Social (ISS, I.P.), devendo a entidade coordenadora local de parceria (Santa Casa da Misericórdia da Amadora), aquando da apresentação do pedido de reembolso, bimestralmente, enviar um formulário de monitorização física, em anexo à respetiva grelha de monitorização. Esta grelha era enviada pré-preenchida pela equipa do Instituto da Segurança Social. A Santa Casa da Misericórdia da Amadora elaborava um relatório de execução que contemplava uma descrição das ações desenvolvidas em função do plano de ação, das metas atingidas, da execução financeira por ação e da prestação de contas anual.

Após a data de cessação da vigência do CLDS+ “ViaGPS”, a entidade coordenadora local de parceria elaborou o relatório final, com o parecer da Câmara Municipal da Amadora e aprovado pelo Conselho Local de Ação Social. Este relatório incluía a prestação de contas final, um relatório de execução física e um relatório de autoavaliação do projeto. O relatório de autoavaliação teve por base um guião padronizado do qual apenas se extrai, de forma descritiva, a informação sobre o nível de concretização das ações previstas.

Como se pode depreender, todo o processo decorreu sem aprofundar questões críticas, sem a abrangência de uma avaliação cientificamente orientada e destituída de mecanismos promotores da reflexão e da aprendizagem. Há, por isso, a necessidade de desenvolver outro tipo de abordagens, sempre que a avaliação seja considerada uma atividade tão relevante quanto deve ser.

Necessidade e fundamentos de uma ferramenta de avaliação de projetos de desenvolvimento social

Tendo em conta a necessidade acima referida de desenvolver abordagens avaliativas que vão além do mero relato das ações desenvolvidas e da prestação de contas, a pergunta natural que se coloca é se essas abordagens existem disponíveis, e se têm potencial para colmatar a necessidade identificada.

A resposta é sim, existem, mas são necessárias outras ferramentas. Vejamos o exemplo da CAF. Esta é uma ferramenta de Gestão da Qualidade Total inspirada no Modelo de Excelência da Fundação Europeia para a Gestão da Qualidade (European Foundation for Quality Management, EFQM) e no modelo da Speyer, desenvolvido pela Universidade Alemã de Ciências Administrativas (Engel, 2002).

Em Portugal, a CAF recebeu a designação de Estrutura Comum de Avaliação e compreende a análise do desempenho de uma organização com base em nove critérios, os cinco primeiros referentes aos meios e os quatro últimos aos resultados. Cada critério inclui um conjunto de subcritérios relativamente aos quais se constroem os indicadores para a avaliação. Estes indicadores constituem evidências do grau de efetividade de cada um dos subcritérios. A avaliação destes critérios permite conhecer o desempenho global da organização ao relacionar os desempenhos-chave da organização enquanto resultados diretos de estilos de liderança, estratégia e planeamento, gestão dos recursos humanos, gestão das parcerias e recursos, gestão dos processos e das mudanças.

A implementação criteriosa da CAF numa organização implica a existência de algumas condições, nomeadamente a vontade de melhorar a organização; empenho do gestor de topo no processo de autoavaliação e implementação das melhorias; transparência dos objetivos que se perseguem e dos resultados que se pretendem alcançar com o processo de autoavaliação; envolvimento dos colaboradores e dos gestores intermédios no processo de autoavaliação; rigor e honestidade da equipa de autoavaliação; compreensão do modelo e uma ampla divulgação na organização, dos objetivos e dos resultados da autoavaliação.

A Estrutura Comum de Avaliação, enquanto sistema para a qualidade, dirige-se às organizações do setor público e serve de ferramenta de integração na gestão dos conceitos e instrumentos básicos da qualidade. Este modelo permite, também, fazer a ponte entre os vários modelos utilizados na gestão da qualidade e a realização de benchmarking entre as organizações públicas, comparando práticas de sucesso, pela adoção de indicadores comuns.

O modelo CAF tem, portanto, um desenho tipicamente dirigido a organizações, como aliás resulta do contexto em que o modelo nasceu e foi desenvolvido, o do mundo empresarial. Não está adaptado a intervenções territoriais, de duração limitada e múltiplos objetivos e parceiros envolvidos.

É necessário, então, encontrar outra ferramenta de autoavaliação que se adeque ao modelo organizativo e às fronteiras temporais de projetos como os do CLDS+.

Na intervenção social a avaliação serve a compreensão da própria intervenção, permitindo recolher, sistematizar e analisar informação sobre o modo como o que se planeou está a ser executado e se estão a ser atingidos os resultados previstos (Capucha et al., 1996; Guerra, 2002; Schiefer et al., 2006).

Não existe uma definição universal para a avaliação, sendo apresentadas várias definições conforme a perspetiva dos diferentes autores que se têm debruçado sobre este assunto. Vejamos apenas um pequeno conjunto de referências clássicas. Para Schiefer et al. (2006) a avaliação nas suas fases ex-ante, in curso, final e ex-post, é um processo de aprendizagem participativo que permite aumentar a capacidade de gestão do próprio projeto; corrigir erros ocorridos em todas as fases; aumentar a capacidade técnica dos parceiros; aumentar a capacidade técnica de todas as instituições envolvidas no planeamento, implementação e avaliação de projetos; evitar a repetição dos mesmos erros noutros projetos; estimular a aprendizagem setorial, transetorial e transnacional; aumentar a capacidade de detetar, gerir e minimizar os riscos do projeto; redefinir os objetivos do projeto.

A avaliação é, neste sentido, “um conjunto de procedimentos para julgar os méritos de um programa e fornecer uma informação sobre os seus fins, as suas expetativas, os seus resultados previstos e imprevistos, o seu impacto e os seus custos” (Kosecoff & Fink, 1982, p. 15).

Segundo Aguilar e Ander-Egg (1992), a avaliação é uma forma de investigação social aplicada, sistemática, planificada e dirigida; encaminhada para identificar, obter e proporcionar de maneira válida e fiável dados e informações relevantes para apoiar um juízo acerca do mérito e valor das diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, tenham realizado ou realizarão, com o propósito de produzir efeitos e resultados específicos; comprovando a extensão e o grau em que os ditos resultados se tenham dado, de forma tal que sirva de base ou guia para uma tomada de decisão racional e inteligente sobre cursos de ação, ou para solucionar problemas e promover o conhecimento e a compreensão dos fatores associados ao êxito ou fracasso dos seus resultados.

Em suma (Capucha et al., 1996), a avaliação permite que as lições aprendidas possam ser incorporadas nas atividades de acompanhamento de intervenções em execução e na formulação e execução de novas intervenções. Diferentes processos de avaliação produzem diferentes resultados, conhecimentos e aprendizagens. No entanto, é possível distinguir um conjunto de contributos mais frequentes, como:

a)    melhoria do autoconhecimento das instituições e das intervenções, uma vez que a avaliação permite conhecer o funcionamento das instituições, programas ou projetos, identificando os níveis de cumprimento das finalidades e orientações, como são utilizados os recursos, etc.;

b)    melhoria dos processos de tomada de decisão, pois a avaliação fornece um conjunto de informações importantes para os decisores e permite o envolvimento de um maior número de agentes no processo;

c)    produção de informações sistematizadas sobre os dispositivos de intervenção, de forma a facilitar a difusão da informação e a possível reprodução dos aspetos inovadores de uma intervenção, e apurar as razões porque as ações “funcionam” ou não;

d)    promoção de uma cultura de diálogo, de troca de ideias e aprendizagem coletiva, facilitando a participação dos vários agentes envolvidos nas intervenções;

e)    desenvolvimento de competências no domínio da avaliação, uma vez que os técnicos procedem à recolha, sistematização da informação e reflexão crítica sobre os processos e os resultados.

Neste sentido, a avaliação assume um papel relevante, na medida em que se apresenta como um instrumento que permite construir e reconstruir permanentemente as ações em função da natureza e finalidade das mesmas, constituindo-se como um processo permanente de investigação, valorização e propostas de melhoria.

As metodologias de avaliação correspondem a construções científicas[1] (Chen, 1990; Guba & Lincoln, 1989) atuando sobre “juízos de valor” de forma a transformá-los em “juízos com utilidade” (Barbier, 1990). Segundo Stern (1990), a construção depende das necessidades sentidas pelos agentes e da bateria de instrumentos analíticos mobilizados pelos investigadores, mais do que de qualquer característica intrínseca do objeto avaliado.

De acordo com o mesmo autor, no que respeita aos intervenientes nos processos de avaliação e respetivos papéis, distinguem-se essencialmente duas modalidades: a avaliação interna, ou autoavaliação e a avaliação externa. Podem, ainda, conceber-se formas mistas ou compósitas.

 A avaliação interna ou autoavaliação é, na maioria dos casos, animada por um especialista que se encontra inserido no próprio sistema de intervenção, podendo englobar ou não, para além dos técnicos responsáveis pela execução, os decisores, os gestores e os destinatários. Segundo Capucha et al. (1996, p. 12), “o avaliador, neste caso, tem por função principal envolver todos os intervenientes na reflexão crítica sobre a intervenção, fornecendo os instrumentos teóricos e metodológicos necessários e procurando promover condições organizativas favoráveis”. De acordo com os autores, esta modalidade de avaliação implica disponibilidade, envolvimento, um trabalho reflexivo continuado e permanente, a recolha sistemática de dados no decurso da ação, e a definição de objetivos de intervenção claros e precisos.

Esta modalidade de avaliação apresenta várias vantagens, como sejam a facilidade com que as aprendizagens e os contributos se incorporam nos agentes, a facilidade em controlar a responsabilidade do avaliador face aos resultados e consequências da avaliação e o volume de informação produzida e disponibilizada.

A avaliação externa, tal como o próprio nome indica, é realizada por pessoas externas à organização responsável pela intervenção. Para Guerra (2002, p. 176),

o recurso à avaliação exterior à equipa de terreno é especialmente importante quando existem tensões, bloqueios ou conflitos decorrentes da ação ou do funcionamento das parcerias. Esse suporte exterior é particularmente útil:

  • para apoiar o desenho da avaliação e o teste dos utensílios de avaliação que são, muito frequentemente, determinados registos pensados para esse efeito;
  • para impulsionar um funcionamento de rotina avaliativa, reuniões preparadas de avaliação de acompanhamento, etc.;
  • para apoiar algumas técnicas de avaliação mais sofisticadas;
  • para contribuir para a sensibilização de alguns atores locais para as questões de avaliação.

Os sistemas mistos de avaliação (Stern, 1990) assumem várias modalidades, que vão da análise por um avaliador externo da avaliação realizada no âmbito de avaliações internas, até modelos em que um avaliador se incorpora na organização promotora ou numa das organizações parceiras do projeto, realizando aí exclusivamente funções de avaliação, sem qualquer envolvimento na ação.

Quanto ao momento focado no processo avaliativo, é clássica a distinção entre a avaliação prévia (ou ex-ante), de acompanhamento (ou ongoing) e sumativa (de impacte ou ex-post), para distinguir entre as que questionam as intervenções na fase de conceção e planeamento, das que se focam no processo interventivo e das que se dirigem aos resultados após terminada a intervenção que se pretende avaliar (Freeman et al., 1979).

A escolha do momento depende de vários fatores, como os constrangimentos relacionados com o contexto, a natureza dos objetos que se avaliam, os objetivos da avaliação, ou o planeamento da sua inclusão no processo de intervenção.

Segundo Capucha et al. (1996), a avaliação prévia pretende conhecer a pertinência das intervenções, bem como a coerência interna entre os objetivos gerais, os objetivos específicos, as ações e os meios planeados, e a coerência externa, isto é, as articulações em relação a programas ou sistemas políticos com os quais existem interferências mútuas. Por vezes, a avaliação prévia orienta-se para a determinação da capacidade de resposta ou de protagonismo de certos grupos, com o intuito de aferir a possibilidade de manifestarem comportamentos relevantes para a intervenção. A avaliação de acompanhamento está particularmente bem adaptada aos objetivos da gestão estratégica, uma vez que procura a autocorreção permanente do processo de intervenção, com vista a melhorar a eficácia, a eficiência e a adesão dos agentes envolvidos. A avaliação sumativa ou final, apesar de poder ser utilizada com outros objetivos, é particularmente bem adaptada à produção de informação sobre os resultados das atividades, em termos de eficácia, de eficiência e de impacte.

O modelo de avaliação

O modelo aqui proposto, com a designação “Coordenadas GPS”, pretende ser um guia para a avaliação de projetos de desenvolvimento social de âmbito territorial.

Pretende-se com este modelo envolver os diversos atores sociais em processos alargados de participação (Guerra, 2002), melhorar o desempenho e a aprendizagem e auxiliar na prestação de contas. Procura-se, assim, que a avaliação constitua um fator de empowerment para os participantes e um mecanismo de autorregulação para o projeto, com vista ao seu desenvolvimento e aprofundamento contínuo.

Os processos de recolha, tratamento e reflexão deverão obedecer aos princípios da investigação-ação, segundo os quais a prática de pesquisa não se limita à investigação fundamental, nem à tradicional investigação aplicada, mas tem por base uma investigação cujos procedimentos e cuja base epistemológica obedecem a critérios próprios (Capucha, 1992; Esteves, 1986). A abordagem de base é a da avaliação interna. Os investigadores envolvem-se com os contextos e com os projetos no decurso do seu trabalho, combinando metodologias de intervenção com teorias, metodologias e processos de recolha e tratamento de informação e de reflexão sobre a informação produzida, possibilitando a construção de conhecimento e a formulação de propostas para a resolução dos problemas iniciais e dos que se vão colocando ao longo da intervenção. Este envolvimento requer uma atenção especial com as questões de ordem ética, já que a proximidade e a minúcia das observações permitem recolher informação muito sensível e cuja proteção não pode ser controlada através do próprio desenho dos instrumentos de pesquisa, mas sim através do modo de comunicar os resultados. Acresce que, neste caso, esses resultados podem afetar diretamente a vida das pessoas, dos técnicos e das instituições, pelo que as matérias do âmbito ético adquirem um relevo particular (Newman & Brown, 1995).

A matriz expost na tabela 1, e que constitui o “guião” dos domínios de avaliação, das questões a responder, das variáveis e indicadores e dos instrumentos de recolha e tratamento da informação a utilizar no processo de investigação-ação que tem em vista a autoavaliação dos projetos, contempla os quatro níveis analíticos sobre os quais a avaliação vai incidir: conceção, operacionalização, realização e impactos, completando o ciclo de projeto.

Ao nível da “Conceção do Projeto”, procurar-se-á avaliar a lógica e o desenho da intervenção. Para tal, proceder-se-á à análise de três componentes: a pertinência, a coerência interna e a coerência externa, procurando dar resposta às seguintes questões:

  • Como foi feito o diagnóstico?
  • O diagnóstico fornece uma visão do dinamismo dos problemas e dos recursos? Faz uma interpretação causal entre os fenómenos, ou pelo menos estabelece elos lógicos a correlacioná-los?
  • Os objetivos respondem aos problemas identificados?
  • As ações previstas em plano de ação respondem às necessidades da população, instituições e território?
  • Quais os mecanismos de produção da mudança desejada?
  • Como é que o projeto se articula, relaciona e interage com outros projetos?

Através da análise da pertinência de um projeto procura-se constatar qual é o grau de adequação dos objetivos definidos ao diagnóstico de partida e à relevância social dos problemas identificados.

Trata-se de perceber se o projeto/programa é justificável no contexto das políticas e estratégias do organismo, serviço, etc. Procura-se, desta forma, perceber até que ponto uma intervenção se adequa ao contexto do problema e da situação sobre a qual se pretende intervir. Ou seja, procura-se conhecer em que medida são os objetivos da intervenção pertinentes para as necessidades da ‘população-alvo’, no quadro da consideração das ‘lições da experiência’, e para as prioridades, num contexto em evolução, por exemplo aos níveis nacional e da UE, mostrando assim qual a relevância e utilidade dos produtos. (Guerra, 2002, p. 198)

Qualquer intervenção deverá fundamentar-se no conhecimento da realidade e tal só é possível através da realização de um bom diagnóstico que seja completo, atualizado, realista, partilhado e compreensível pelos agentes locais, bem direcionado e útil para a intervenção no terreno.

É o trabalho de terreno que nos dá indicações, que nos dá informação e que nos permite realizar o diagnóstico, tornando mais fácil a adequação das técnicas de intervenção às reais necessidades locais. Importa referir que o que aqui chamamos terreno (ou contexto, na lógica da avaliação realista) é uma realidade densa e multifacetada, tendo não só necessidades como também conflitos de interesses, ou seja, as pessoas e os seus interesses não são uma massa uniforme.

Um diagnóstico de qualidade é a primeira condição de um bom projeto, ao permitir determinar com precisão os problemas a resolver, os recursos disponíveis e os fatores que serão determinantes no contexto. É também decisivo para um bom sistema de avaliação, ao estabelecer as bases segundo as quais as realizações e impactes podem ser avaliados. Mas é mais do que isso: é um instrumento decisivo do ponto de vista da criação de condições sociais e institucionais de sucesso da intervenção. (Capucha, 2008, p. 17)

Um “bom diagnóstico é garante da adequabilidade das respostas às necessidades locais e é fundamental para garantir a eficácia de qualquer projeto de intervenção” (Guerra, 2002, p. 131), contribuindo para a análise dos recursos existentes, para a auscultação dos problemas, para a interpretação das necessidades locais e para a definição de prioridades ao nível da intervenção subsequente.

O diagnóstico social consiste na análise da realidade que tem vulnerabilidades, mas que também tem forças e potencial em desenvolvimento e, neste sentido, o diagnóstico torna-se imprescindível para a interpretação das dinâmicas de forma a colmatar as vulnerabilidades identificadas.

A produção de diagnósticos de qualidade implica a mobilização de informação a partir de várias fontes (endógenas e exógenas), sendo que a par das dimensões quantitativas, também as dimensões qualitativas são extremamente relevantes, possibilitando o desenho de intervenções mais qualificadas, especificamente dirigidas para as causas ou fatores de pobreza.

Ao nível da pertinência e da coerência interna do projeto, importa analisar a articulação entre os objetivos gerais, os objetivos específicos, as ações previstas e os recursos disponibilizados, ou seja, procurar-se-á verificar se os recursos são suficientes para desenvolver as ações previstas, se estas permitem concretizar os objetivos específicos e se estes constituem instrumentos operacionais dos objetivos gerais. Trata-se de interrogar o racional do projeto e o seu potencial para produzir os resultados pretendidos (Capucha, 2008).

Para se verificar a coerência do projeto é necessário, também, analisar a relação entre os diversos aspetos das orientações e finalidades, como por exemplo, as áreas de intervenção com os destinatários ou destes com os territórios.

No que respeita à coerência externa, importa verificar a relação da intervenção do Projeto com outras intervenções que tenham objetivos idênticos ou se destinem aos mesmos públicos-alvo, ou outras que, de alguma forma, o condicionem, de forma positiva (produzindo sinergias), ou negativa (produzindo entropias).

Os critérios de coerência interna e externa são centrais na avaliação da qualidade da conceção de um plano de intervenção ou de um projeto, e contêm alguns subcritérios a considerar, como a exequibilidade (a avaliação deve julgar as possibilidades do plano se tornar efetivo, a partir de dois requisitos: a adequação de meios e a possibilidade de concretizar em ações práticas os objetivos definidos de forma abstrata); a acessibilidade (subcritério segundo o qual o plano ou projeto deve poder ser publicitado e deve poder ser entendido quanto aos objetivos, às metas a atingir e às ações a desenvolver por todos aqueles que são os seus destinatários e atores); e a responsabilidade (análise do modo como cada ação está vinculada à responsabilidade de quem a deve executar).

Nestes domínios, o instrumento está alinhado com as avaliações orientadas pela teoria, que recentemente têm vindo a ser designadas pela expressão “teoria da mudança” (Astbury & Leeuw, 2010; Blamey & Mackenzie, 2007; Stein & Valters, 2012; Weiss, 1995).[2] Trata-se de reconstruir as teorias implícitas e explicitas nos documentos de programação, de forma a avaliar o modo como se pensa que a intervenção permitirá resolver os problemas identificados, por um lado, e por outro lado reconstruir os mecanismos a que obedece a mudança planeada, no que tem vindo a ser designado por “avaliação realista” (Melloni et al., 2016; Wong et al., 2017).

Ao nível da “Operacionalização”, o objeto de avaliação é o processo de implementação da intervenção. É, então, necessário analisar os recursos (físicos, financeiros e humanos) e a forma como estes são afetados às diversas atividades, os mecanismos de gestão e as formas de tomada de decisão, a constituição de parcerias, os meios de divulgação do projeto e das suas atividades junto dos beneficiários e os critérios de seleção dos mesmos, procurando respostas para as seguintes questões:

  • No plano de ação, existem metas correspondentes a “ações-chave”?
  • É possível saber quais os responsáveis pelas ações?
  • Como é constituída a equipa técnica? Há distribuição de funções?
  • Há um sistema de informação e organização administrativa e financeira?
  • A afetação de recursos prevista está a ser respeitada?
  • Os meios previstos são coerentes com a ambição do projeto?
  • Como são constituídas as parcerias?
  • Como é que o projeto promove a sua visibilidade?
  • O projeto promove a participação efetiva daqueles com quem trabalha?

No que respeita à “Realização”, importa recolher e sistematizar informação acerca da concretização das intervenções. Neste sentido, procede-se à análise do grau de execução das atividades previstas, isto é, confrontam-se as atividades previstas com as atividades realizadas, detetando-se os desvios e as respetivas causas, analisam-se as formas de participação e contributo dos parceiros e, também, os constrangimentos encontrados no desenvolvimento das atividades, de forma a responder às seguintes questões:

  • Os objetivos estratégicos do projeto têm vindo a ser alcançados? Quais os desvios e a que se devem?
  • Os resultados estão a ser atingidos respeitando os recursos previstos e a sua melhor utilização?
  • As pessoas e organizações a quem são destinadas as ações estão a aderir a elas?
  • Os parceiros estão a ser devidamente mobilizados para a intervenção?
  • Qual o nível de implicação dos parceiros no projeto?

Ao nível dos “Impactos”, o objeto da avaliação são os resultados duráveis do Projeto, isto é, o seu valor acrescentado, ou, dito de outra forma, as mudanças efetivas que ele produziu no território, nas instituições, nas políticas e nas pessoas. Neste caso, procura-se determinar a eficácia do projeto, aferindo os efeitos diretos e indiretos, desejados e indesejados resultantes da implementação do projeto nos diversos domínios — nos beneficiários, nos técnicos, no território, nas instituições — de forma a responder às seguintes questões:

  • O projeto alterou a situação inicial (problemas “alvo de intervenção” identificados no território)? Em que medida?
  • O projeto teve impacto nos públicos-alvo, nos técnicos, nos parceiros e entidade promotora? Em que medida?

Procura-se, também, medir a eficiência do projeto, o que implica a comparação entre os resultados observados e os recursos mobilizados, sendo que a intervenção será tanto mais eficiente quanto mais conseguir rentabilizar os recursos na obtenção dos resultados. Neste plano, a comparação da estrutura e volume de custos entre projetos semelhantes, pode constituir um procedimento muito útil. A análise da eficácia e eficiência implica, assim, a comparação entre uma situação modificada por uma intervenção e a situação anterior a essa intervenção.

Instrumentos de recolha da informação

Implementar e desenvolver um processo de avaliação baseado na metodologia da investigação-ação, na família das metodologias de planeamento e avaliação e na perspetiva do pluralismo metodológico implica a abordagem multimétodo (Brewer & Hunter, 1989; Tashakkori & Teddlie, 1998). Isto é, implica mobilizar um conjunto compreensivo de teorias e as diversas metodologias disponíveis, do que decorre a aplicação de múltiplas técnicas de recolha, sistematização e análise da informação, sendo por vezes necessário construir instrumentos específicos consoante o tipo de avaliação a realizar.

Essa abordagem é, assim, simultaneamente quantitativa e qualitativa, indo aliás para além das tipologias classificatórias tradicionais, de modo a dar conta, segundo diferentes perspetivas, das diferentes atitudes e representações dos protagonistas e intervenientes, das várias dimensões dos contextos e das dinâmicas processuais implicadas na transformação da realidade.

Análise documental

O recurso à análise documental torna-se extremamente relevante para a compreensão e avaliação de projetos, uma vez que os documentos produzidos no seu tempo de conceção e execução fornecem informações úteis para complementar a informação obtida por outros métodos de recolha de informação. Muitas vezes ela é mesmo o ponto de partida, ao permitir reconstruir a lógica, quer dizer, as teorias implícitas, subjacentes à conceção do projeto (Bardin, 1977; Guerra, 2006).

Para a análise da conceção do projeto, recorre-se à consulta e análise de referências teóricas que permitam captar a problemática em jogo, e a documentos programáticos e operacionais, como o diagnóstico social do território de intervenção, o plano de ação do projeto, atas de reunião e relatórios.

Ao nível das condições de operacionalização, procede-se à consulta e análise de um conjunto vasto de documentos do e sobre o projeto, incluindo legislação e documentos operacionais, como o plano de ação, as bases de dados, e as atas de reuniões.

 No que respeita às condições de realização do projeto, recorre-se à análise documental de relatórios, nomeadamente aos relatórios de monitorização física e financeira (taxas de execução física e financeira), folhas de presença dos beneficiários nas ações e atas de reuniões.

Ao nível dos impactos, procede-se à análise das várias fontes documentais do projeto, nomeadamente o relatório de monitorização, o relatório final, o relatório de autoavaliação e as atas de reuniões.

Entrevista

A vantagem essencial da entrevista reside no facto dos próprios atores sociais proporcionarem os dados relativos às suas condutas, opiniões, desejos, atitudes e expetativas que, pela sua natureza, é quase impossível observar de fora (Ghiglione & Matalon, 1993).

Propõe-se a realização de entrevistas presenciais e semi-diretivas aos atores chave responsáveis pela execução do projeto, nomeadamente ao coordenador e aos elementos da equipa técnica e instituições envolvidas, focando as quatro dimensões da avaliação (conceção, operacionalização, realização, impactos) e tendo por base um guião flexível de modo a poder explorar outras questões pertinentes para o objeto de análise no decurso da própria entrevista.

Mas a aplicação de entrevistas pretende contribuir para dispor de um conjunto extensivo de elementos de informação de carácter qualitativo que permita conhecer a visão dos vários atores envolvidos no projeto, pelo que pode ainda abranger os destinatários, observadores privilegiados e outros atores.

Focus group

De forma a recolher informações e aferir as opiniões dos parceiros, técnicos, entidades envolvidas e beneficiários relativamente ao envolvimento/participação no projeto e aos seus impactos, propõe-se a realização de focus groups (ou grupos de discussão), possibilitando tirar partido das dinâmicas e debates que podem ocorrer no grupo.

Ao partilhar e comparar as suas experiências e pontos de vista, os participantes geram novos conhecimentos e entendimentos. Segundo Kreuger & Casey (1994), as características gerais do focus group são: envolvimento de pessoas; reuniões em série; homogeneidade dos participantes, escolhidos de acordo com os interesses da pesquisa; geração de dados; natureza qualitativa; discussão focada num tópico que é determinado pelo propósito da pesquisa.

Propõe-se a realização de focus group numa fase intermédia e no final do período de implementação do projeto, com dois grupos relativamente homogéneos e estáveis, constituídos por quinze a vinte elementos que representem a população intervencionada, parceiros, técnicos e entidades envolvidas no projeto. Os focus group terão a duração de cerca de uma hora e meia a duas horas e a interação do grupo é moderada por um avaliador ou investigador que estabelece os tópicos ou perguntas para discussão com base num guião.

Análise S.W.O.T. (Strengths, weaknesses, opportunities, threats)

Um dos propósitos do focus group será a construção e atualização de uma análise S.W.O.T, potenciando o pensamento crítico sobre a intervenção do projeto nas suas diversas vertentes e procurando impulsionar a participação ativa dos próprios interlocutores designados pelas diversas instituições (Godet, 1993).

Para este efeito, antes do início da dinâmica de grupo serão colocadas quatro cartolinas brancas de tamanho grande sobre duas mesas de apoio, e vários marcadores. Cada cartolina terá um título: “Pontos Mais Positivos”, “Pontos Menos Positivos”, “Oportunidades/A Inovar” e “Riscos/Ameaças” referentes ao projeto. De seguida, procederse-á a um breve enquadramento da dinâmica da discussão e dos seus objetivos por parte do avaliador. Cada parceiro recebe uma ficha de avaliação contendo quatro espaços para preenchimento, subordinados a cada um dos títulos acima referidos. Após preenchimento (10 a 15 minutos), os interlocutores serão convidados a dirigir-se a cada uma das cartolinas grandes e, de acordo com os temas de cada uma, preencherem-nas com as suas reflexões. De seguida, serão constituídos pequenos grupos de reflexão e a cada um será atribuído uma cartolina, para reflexão e discussão conjunta dos contributos lá colocados. Cada grupo poderá acrescentar mais contributos à sua cartolina. Por fim, cada grupo fará a apresentação dos contributos de uma das cartolinas para todo o grupo, de modo a chegar-se a conclusões finais.

Esta dinâmica pretende promover a interação entre os atores envolvidos, possibilitando a troca de opiniões e de reflexão conjunta entre todos.

Plataforma online — “Ficheiros Transparentes”

Pretende-se criar uma plataforma online que possibilite o envolvimento dos destinatários, técnicos e entidades parceiras no processo de autoavaliação do projeto, criando condições para um entendimento transparente e com sentido de responsabilização.

A partir desta plataforma online, os destinatários, técnicos e entidades parceiras do território são convidados a refletirem sobre o desenvolvimento do projeto, sob a forma de desafios e caixas de sugestões, com o intuito de promover a participação e o empowerment dos atores, ao mesmo tempo que potencia a inovação.

A designação “Ficheiros Transparentes” remete para o facto de as sugestões serem “abertas” a todos os visitantes da plataforma, de modo a promover o debate de ideias e a partilha de sugestões.

Os dados obtidos através desta técnica permitem (re)definir estratégias de intervenção e, posteriormente, poderão ser um input a considerar na avaliação de impactos do projeto sendo, para tal, sujeitos a análise de conteúdo por parte do avaliador.

Balanço de competências

Sabendo que o desempenho individual e coletivo dos elementos que compõem a equipa de um projeto é um dos fatores determinantes para o respetivo sucesso, e que todos os projetos contribuem, no todo ou em parte, para o desenvolvimento de competências dos atores envolvidos, implementar-se-á o Balanço de Competências, uma vez que este instrumento possibilita a autoavaliação e demonstração efetiva da influência do projeto nas competências da equipa técnica.

Na Iniciativa Comunitária EQUAL,[1] o Balanço de Competências (Estevão, 2005) foi utilizado de forma experimental, mas generalizada, como instrumento de apoio à gestão, com funções de diagnóstico e de avaliação das competências que estão diretamente relacionadas com os objetivos e atividades de um determinado projeto. É, também, um meio de demonstrar objetivamente as aquisições, em termos de competências, por parte dos intervenientes no projeto. Neste sentido, este instrumento revela-se pertinente quando aplicado em processos de avaliação, uma vez que parte de um diagnóstico inicial e apura resultados observáveis nas competências, implicando uma autodescoberta e autoavaliação de competências adquiridas ao longo do ciclo de vida do projeto.

De forma a obter o maior rigor possível na análise, o Balanço de Competências deve ser aplicado em três momentos distintos: no início do projeto, numa fase intermédia e no final do projeto.

Cada elemento da equipa técnica detém competências relevantes que podem ser divididas em dois grupos:

a)    Específicas (neste caso, entendidas como sendo aquelas mais diretamente relacionadas com a sua função no projeto);
b)    Transversais (independentes da função exercida no projeto).

O instrumento de recolha de informação a utilizar consiste no preenchimento de tabelas que contêm um conjunto de competências transversais e específicas onde se pretende que cada técnico se autoavalie atendendo a uma escala quantitativa de 1 a 6 sendo que: 1- corresponde a competências Inexistentes, 2- Muito Insuficientes, 3- Insuficientes, 4- Suficientes, 5- Boas e 6- Muito Boas. O objetivo desta ferramenta é promover a autorreflexão e consciencialização, averiguando qual a valorização que cada indivíduo atribui às suas próprias competências. Essas competências devem ser identificadas aquando da elaboração do Balanço de Competências de partida e atualizadas durante o projeto e na fase de elaboração do Balanço de Competências de chegada.

Poderá recorrer-se, também, ao diário de bordo, onde os elementos da equipa vão registando episódios e progressos que tenham a ver com as suas competências e sejam indicadores do seu desenvolvimento. No balanço de competências de chegada essas informações podem ser um input a considerar.

O dispositivo da avaliação

Um dos primeiros aspetos a considerar quando se concebe um processo de avaliação é a escolha dos responsáveis pela sua condução, tendo em conta a especificidade de cada situação. Tal como abordado no segundo capítulo do presente texto, existem várias modalidades de avaliação: a avaliação interna (ou autoavaliação), a avaliação externa e as formas mistas ou compósitas.

No modelo que aqui se propõe, opta-se pela autoavaliação, promovendo a interação entre os técnicos e parceiros do projeto e aqueles ou aqueles que na equipa de projeto assumem a função de coordenação das atividades de avaliação. Para tal, é necessário formalizar um protocolo que assegure a participação e cooperação entre a instituição promotora, a equipa no seu conjunto e os responsáveis pela avaliação. Os protocolos devem definir de forma completa e rigorosa as dimensões éticas associadas ao trabalho de avaliação.

O responsável pela coordenação da avaliação tem, em relação ao referido da avaliação e às pessoas por ele abrangidas, o mesmo tipo de responsabilidades éticas de qualquer outro investigador. Respondendo embora a um compromisso contratualizado com terceiros, está obrigado a cumprir todas as normas, implícitas e explícitas. Se for sociólogo, tem o Código Deontológico como documento orientador a que está eticamente obrigado. Quando as avaliações implicam maior envolvimento do avaliador com as instituições e as pessoas, num processo dinâmico de “investigação-ação” (Capucha, 1992), insistimos, alguns cuidados, como o de preservar as fontes de informação, a utilização rigorosa da informação recolhida e, principalmente, o controlo das consequências práticas da produção e divulgação de conhecimento, têm de ser ainda mais cuidadas do que quando se usam outras metodologias.

Conclusão

A avaliação representa um instrumento imprescindível para o desenvolvimento de intervenções no domínio da gestão de políticas públicas. Ditam os conhecimentos que hoje possuímos sobre a boa governação que todas as ações devem ser planeadas, executadas e avaliadas. Segundo Owen (2007), há dois modos de conceber a avaliação, como um juízo sobre o valor do programa e como uma produção de conhecimento baseada numa investigação sistemática para apoiar a tomada de decisões. Nós diríamos que os dois modos não são incompatíveis.

Em todo e qualquer processo de intervenção social é fundamental o desenvolvimento da reflexão sobre a prática, permitindo uma leitura crítica das ações desenvolvidas e favorecendo a melhoria quantitativa e qualitativa das intervenções. Neste sentido, a avaliação é considerada como um momento essencial da investigação e desenvolvimento de programas sociais, e como ferramenta de empowerment dos envolvidos.

No entanto, ainda é corrente a condução de políticas e programas que não prestam a devida importância às questões de avaliação, adotando uma perspetiva conservadora e burocrática. Ou que transformam a avaliação num conjunto de procedimentos burocráticos e meras formalidades. Parte das razões pelas quais isto acontece prendem-se com a prevalência de métodos tradicionais de gestão das políticas, mas outra parte resulta da falta de familiaridade dos responsáveis e intervenientes com os princípios e os procedimentos da avaliação. Por isso se julga que o modelo proposto pode constituir um guião, ou, se se quiser chamar assim, um manual útil para a promoção de práticas de modernização da administração das políticas públicas (Carapeto & Fonseca, 2006).

Reconhecendo a importância da inclusão e implicação dos atores sociais em processos de avaliação de projetos de intervenção social, torna-se necessário o recurso a metodologias e técnicas participativas, promotoras de empowerment, emancipação e capacitação. O exercício de avaliação proposto pretende constituir um processo democrático, tendo em consideração as diversas perspetivas dos atores envolvidos. Ora, isso implica a posse de competências necessárias, as quais por sua vez reclamam o acesso a ferramentas de apoio como a que aqui se apresentam.

É de realçar que o modelo “Coordenadas GPS” pretende, também, incidir na avaliação do desenvolvimento do capital humano da organização promotora do projeto, através da aplicação do instrumento “Balanço de Competências”. A opção pela inclusão desta dimensão de análise deve-se ao facto de se reconhecer a importância do desempenho individual e coletivo dos elementos que compõem a equipa de projeto como fator determinante do seu sucesso.

Por último, importa referir que se não houver avaliação, os projetos vêm seriamente comprometida a probabilidade de atingirem elevada qualidade, uma vez que só através da prática avaliativa é possível intervir de forma reflexiva, com vista ao desenvolvimento de processos de mudança sustentada. Neste sentido, torna-se pertinente sensibilizar decisores e técnicos para a importância da investigação-ação, promovendo a colaboração dos projetos com centros de investigação e universidades, de forma a intervir com qualidade, ao mesmo tempo que se possibilita aos projetos um maior conhecimento da(s) realidade(s) a intervencionar.

Nota

Os autores do texto escrevem segundo o novo acordo ortográfico.

Referências

Agência para o Desenvolvimento e Coesão, I.P. (2015). Portugal 2020. Plano global de avaliação 2014-2020. Lisboa: PGA PT2020.

Agência para o Desenvolvimento e Coesão, I.P. (2016a). Plano global de avaliação 2014-2020. Orientações para o planeamento e preparação das avaliações do Portugal 2020. Lisboa: PGA PT2020.

Agência para o Desenvolvimento e Coesão, I.P. (2016b). Plano global de avaliação 2014-2020. Orientações para o acompanhamento da implementação das recomendações das avaliações do Portugal 2020 (follow-up). Lisboa: PGA PT2020.

Aguilar, M. J., & Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.

Astbury, B., & Leeuw, F. (2010). Unpacking black boxes: Mechanisms and theory building in evaluation. American Journal of Evaluation, 31(3), 363-381.

Barbier, J.-M. (1990).  A avaliação em formação. Porto: Afrontamento.

Bardin, L. (1977). Análise de conteúdo. Lisboa: Edições 70.

Blamey, A., & Mackenzie, H. (2007). Theories of change and realist evaluation. Peas in a pot or apples and oranges?. Evaluation, 13(4), 439-455.

Brewer, J., & Hunter, A. (1989). Multimethod research: A synthesis of styles. Newbury Park: Sage.

Capucha, L. (1992). Metodologia da investigação-acção. Problemas da pobreza, conceitos, contextos e modos de vida (Dissertação de mestrado) (pp. XXX-LXIV). ISCTE, Lisboa.

Capucha, L. (2005). Desafios da pobreza. Oeiras: Celta Editora.

Capucha, L. (2008). Planeamento e avaliação de projectos. Guião prático. Lisboa: DGIDC/ME.

Capucha, L., Almeida, J. F., Pedroso, P., & Silva, J. A. V. (1996). Metodologias da avaliação: O estado da arte em Portugal. Sociologia, Problemas e Práticas, (22), 9-27.

Carapeto, C., & Fonseca, F. (2006). Administração pública — Modernização, qualidade e inovação. Lisboa: Edições Sílabo.

Chen, H. T. (1990). Theory-driven evaluations. Thousand Oaks: Sage.

Engel, C. (2002). Common assessment framework: The state of affairs. Maastricht: European Institute.

Estevão, M. (2005). Balanço de competências. Lisboa: Gabinete de Gestão Equal.

Esteves, A. J. (1986). A investigação-acção. In A. S. Silva, & J. M. Pinto (Eds.), Metodologia das ciências sociais (pp. 55-78). Porto: Edições Afrontamento.

European Commission. (2013). EVALSED. Guide to the evaluation of socio-economic development. Bruxelas: European Commission.

Freeman, H., Rossi, P., Wright, H., & Sonia, R. (1979). Évaluer des projets sociaux dans les pays en développement. Paris: OCDE.

Ghiglione, R., & Matalon, B. (1993). O inquérito. Oeiras: Celta Editora.

Godet, M. (1993). Manual de prospetiva estratégica. Da antecipação à acção. Lisboa: D. Quixote.

Guba, E., & Lincoln, Y. (1989). Fourth generation evaluation. London: Sage.

Guerra, I. (2002). Fundamentos e processos de uma sociologia de acção: O planeamento em ciências sociais. Cascais: Principia.

Guerra, I. (2006). Pesquisa qualitativa e análise de conteúdo. Sentidos e formas de uso. Cascais: Principia.

Kosecoff, J., & Fink, A. (1982). Evaluation basics. A practioner’s manual. Beverly Hills: Sage.

Kreuger, R. A., & Casey, M. A. (1994). Focus group: A practical guide for applied research. Thousand Oaks: Sage Publications.

Melloni, E., Pesce, F., & Vasilescu, C. (2016). Are social mechanisms usable and useful in evaluation research?. Evaluation, 22(2), 209-227.

Nascimento, C. S. (2015). Coordenadas GPS — Um instrumento de avaliação (Dissertação de mestrado). ISCTE-IUL, Lisboa.

Newman, D., & Brown, R. (1995). Applied ethics for program evaluation. Thousand Oaks: Sage Publications.

Owen, J. M. (2007). Program evaluation: Forms and approaches. New York: Allen & Unwin.

Schiefer, U., Bal-Dobei, L., Batista, A., Dobel, R., Nogueira, J., & Teixeira, P. (2006). MAPA — Manual de planeamento e avaliação de projectos. Cascais: Principia.

Stein, D., & Valters, C. (2012). Understanding theory of change in international development. Londres: The Justice and Security Research Programme, London School of Economics.

Stern, E. (1990). Evaluating programmes and projects for economic and social integration: Starting frameworks and main questions. Comunicação apresentada no Seminário Europeu sobre Metodologias de Avaliação, Associação “in Loco”.

Tashakkori, A., & Teddlie, C. (1998). Mixed methodology: Combining qualitative and quantitative approaches. Thousand Oaks: Sage.

Weiss, C. (1995). Nothing as practical as a good theory. Exploring theory-based evaluation for comprehensive community initiatives for children and families. In A. C. Kubisch, J. P. Connell, L. B. Schorr, & C. H. Weiss (Eds.), New approaches for evaluating community initiatives (pp. 65-74). Washington, DC: Aspren Institute.

Wong, G., Werthorpe, G., Greenhalgh, J., Manzano, A., Jagosh, J., & Greenhalg, T. (2017). Quality and reporting standards, resources, training materials and information for realist evaluation: The RAMESES II project. Health, Services and Delivery Research, 5(28), 1-110.

Cristina Nascimento. Doutoranda no ISCTE-IUL [Departamento de Sociologia e Políticas Públicas] e investigadora associada do Centro de Investigação e Estudos de Sociologia — CIES-IUL.

Luís Capucha. Professor Auxiliar no Departamento de Ciência Política e Políticas Públicas do ISCTE-IUL e investigador no Centro de Investigação e Estudos de Sociologia — CIES-IUL.

Data de submissão: 16/06/2017 | Data de aceitação: 11/09/2017

[1] Razão pela qual os autores em referência falavam de “avaliações de quarta geração”, “orientadas pela teoria”, paradigma que tem vindo a impor-se e que é seguido no presente artigo.

[2] Os trabalhos desta autora e do seu grupo, em que se inclui o já referido Chen (1990), estão na origem dos modelos correntemente em uso na União Europeia (Agência para o Desenvolvimento e Coesão, I.P., 2015; 2016a; 2016b; European Commission, 2013), pelo que, aparentemente, não perderam ainda qualquer validade.

[3] A EQUAL foi um programa financiado pelo Fundo Social Europeu, executado no período 2000-2010, de carácter experimental, com o objetivo de desenvolver abordagens inovadoras para combater as discriminações no mercado de trabalho que, depois de validadas, deveriam ser generalizadas. Esta iniciativa teve, assim, por ambição inovar as práticas sociais a fim de responder de forma mais eficaz e mais eficiente às necessidades das pessoas, em particular das mais desfavorecidas.

Autores: Cristina Nascimento and Luís Capucha

Download