Sumário

Avaliação de políticas públicas é o ponto em que Administração, Economia, Estatística, Direito Financeiro, Controle Externo e gestão para resultados se encontram. O mapa desta aula parte do CPNU 2024 Bloco 2, do CPNU 2/2025 Bloco 7, dos guias ex ante e ex post do Governo Federal/Ipea, do Referencial de Controle de Políticas Públicas do TCU, do CMAP, da EC nº 109/2021, do PPA 2024-2027, da OCDE, do Banco Mundial e da INTOSAI.

1. Raio-X dos concursos

   CPNU, EPPGG, APO, ATPS, TCU e o núcleo que mais cai
   p. 04
2. Fundamentos

   Conceito, ciclo, agenda, desenho, implementação, monitoramento e avaliação
   p. 09
3. Institucionalidade brasileira

   Constituição, PPA 2024-2027, CMAP, TCU, governança e orçamento
   p. 20
4. Modelagem e indicadores

   Problema público, teoria da mudança, modelo lógico, metas, linha de base e dados
   p. 31
5. Métodos de avaliação

   Processo, resultados, impacto, qualitativos, quantitativos, métodos mistos e economia
   p. 43
6. Uso, equidade e controle

   Recomendações, auditoria, participação, ética, LGPD, comunicação e aprendizagem
   p. 57
7. Revisão e questões

   Mapa mental, fontes oficiais, checklist e 10 questões comentadas
   p. 67

O que você vai dominar

Dica do Fuffu

Avaliação não é carimbo de aprovação nem caça ao erro. É uma pergunta disciplinada: o problema era real, a solução fazia sentido, a implementação aconteceu e o resultado pode ser atribuído à política?

Prof. Affonsinho explica, Módulo 01

1 O que mais cai

No CPNU 2024 Bloco 2, a disciplina apareceu em conhecimentos gerais e específicos. O edital cobrou políticas públicas, conceitos e tipologias, ciclo de políticas, agenda, formulação, processo decisório, implementação, planos, programas, projetos, monitoramento e avaliação. No eixo específico de políticas públicas, vieram elaboração, papel do Estado, burocracia, discricionariedade, implementação, arranjos institucionais e avaliação, com custo-benefício, escala, efetividade e impacto.

No CPNU 2/2025 Bloco 7, o programa trouxe novamente políticas públicas em conhecimentos gerais, incluindo levantamento, sistematização, análise e interpretação de dados quantitativos, qualitativos e indicadores. Também cobrou indicadores de desempenho organizacional e avaliação de resultados, ferramentas e metodologias para elaboração de indicadores e avaliação de resultados.

Prof. Affonsinho explica, Módulo 01

1.1 Onde a banca insiste

A banca gosta de quatro famílias de questão. A primeira é conceitual: política pública, problema público, ciclo, implementação, monitoramento, avaliação, eficiência, eficácia, efetividade e impacto. A segunda é metodológica: modelo lógico, teoria da mudança, indicadores, linha de base, desenho avaliativo, contrafactual e métodos causais.

A terceira é institucional: Constituição, EC nº 109/2021, CMAP, PPA, TCU, controle interno, controle externo, transparência e orçamento. A quarta é aplicada: um enunciado descreve programa público e pede o tipo de avaliação adequado, o indicador correto, o risco de viés ou a recomendação mais defensável.

Se você só decorar nomes, a prova morde. Avaliação é matéria de raciocínio. O examinador apresenta uma política social, tributária, ambiental, educacional ou de segurança e pergunta: qual é o problema, qual é a teoria causal, qual indicador mede o quê, qual método responde à pergunta e como usar o achado?

Alerta do Examinador

Quando a alternativa disser que resultado positivo observado depois da política prova impacto, desconfie. Impacto exige inferência causal. Sem contrafactual ou desenho que aproxime o contrafactual, você tem associação, não prova de causalidade.

Prof. Affonsinho explica, Módulo 01

1.2 O que usar como base

A fonte brasileira central é a dupla de guias de avaliação de políticas públicas: Guia Prático de Análise Ex Ante e Guia Prático de Análise Ex Post, publicados no âmbito do Governo Federal com participação da Casa Civil, Ipea, Ministério da Fazenda, Ministério do Planejamento e CGU. O guia ex ante organiza diagnóstico do problema, desenho, modelo lógico, indicadores, impacto orçamentário, implementação, legitimidade, monitoramento, avaliação e custo-benefício. O guia ex post aprofunda avaliação após a implementação.

O TCU fornece dois referenciais especialmente importantes: o Referencial para Avaliação de Governança em Políticas Públicas e o Referencial de Controle de Políticas Públicas, aprovado pela Portaria-TCU nº 188/2020. O RC-PP organiza o controle em blocos relacionados ao ciclo da política pública, incluindo diagnóstico, alternativas, desenho, governança, recursos, operação, monitoramento e avaliação.

Na literatura, os nomes recorrentes são Lasswell, Easton, Dye, Lowi, Kingdon, Sabatier, Pressman e Wildavsky, Lipsky, Carol Weiss, Michael Scriven, Rossi, Lipsey e Freeman, Vedung, Patton, Pawson e Tilley, além da literatura de avaliação de impacto de Campbell, Rubin, Angrist, Imbens e Banco Mundial.

Prof. Affonsinho explica, Módulo 02

2 O objeto da avaliação

Política pública é intervenção, ação, programa, estratégia, norma, benefício, gasto ou decisão estatal orientada a enfrentar ou não enfrentar um problema público. Harold Lasswell sintetizou a política como disputa sobre quem recebe o quê, quando e como. David Easton enxergou política como sistema de entradas, processamento e saídas. Thomas Dye escreveu a fórmula clássica: política pública é aquilo que governos escolhem fazer ou não fazer.

Para fins do Guia Ex Post e do CMAP, o conceito operacional é mais administrativo: conjunto de programas ou ações governamentais necessárias e suficientes, integradas e articuladas para prover bens ou serviços à sociedade, financiadas por recursos orçamentários ou por benefícios tributários, creditícios e financeiros. Essa definição é útil porque delimita a unidade de análise.

Avaliar exige saber o que exatamente está sendo avaliado: uma política ampla, um programa finalístico, uma ação orçamentária, uma transferência, um subsídio, um serviço, uma norma, uma campanha ou um arranjo institucional. Unidade de análise mal definida produz pergunta mal definida, dado ruim e recomendação frouxa.

Raffinha resume

Antes de avaliar, pergunte: qual é a política, qual problema ela tenta resolver, quem é afetado e por qual mecanismo a mudança deveria acontecer? Sem isso, a avaliação começa andando de costas.

Prof. Affonsinho explica, Módulo 02

2.1 O ciclo como mapa, não trilho

O ciclo de políticas públicas costuma ser apresentado em etapas: identificação do problema, formação da agenda, formulação de alternativas, tomada de decisão, desenho, implementação, monitoramento, avaliação e revisão ou extinção. É uma simplificação didática. Na vida real, as etapas se sobrepõem, voltam, travam, sofrem pressão política e mudam com o contexto.

Kingdon explica a agenda com o modelo dos múltiplos fluxos: problemas, soluções e política precisam se encontrar em janelas de oportunidade. Sabatier trabalha coalizões de defesa que disputam crenças e aprendem ao longo do tempo. Lindblom criticou a racionalidade total e descreveu o incrementalismo, a política feita por ajustes sucessivos. A banca cobra essas ideias para mostrar que políticas não nascem em laboratório limpo.

Prof. Affonsinho explica, Módulo 02

2.2 Três verbos parecidos, funções diferentes

Monitoramento é acompanhamento contínuo ou periódico de indicadores, entregas, execução, cobertura, qualidade e metas. Ele responde se a política está andando como planejado. Avaliação é análise sistemática, com perguntas valorativas e explicativas, sobre desenho, implementação, resultados, impacto, eficiência, equidade ou sustentabilidade. Auditoria examina conformidade, desempenho, governança, controles, legalidade e economicidade, conforme mandato do órgão de controle.

Monitoramento sem avaliação vira painel bonito sem explicação. Avaliação sem monitoramento sofre para encontrar dados. Auditoria sem compreensão da política corre risco de fiscalizar procedimento sem entender resultado. As três práticas conversam, mas não são sinônimas.

Prof. Affonsinho explica, Módulo 02

2.3 Eficiência, eficácia, efetividade e impacto

Essas palavras caem muito. Economicidade pergunta se os insumos foram obtidos com menor custo adequado. Eficiência pergunta se recursos foram convertidos em produtos com boa relação custo-produto. Eficácia pergunta se produtos, entregas ou metas foram alcançados. Efetividade pergunta se os resultados relevantes para a sociedade aconteceram. Impacto pergunta que diferença a intervenção causou em relação ao que teria ocorrido sem ela.

A OCDE usa seis critérios avaliativos: relevância, coerência, eficácia, eficiência, impacto e sustentabilidade. Eles não são metodologia; são lentes. Você pode avaliar relevância por análise documental e entrevistas, impacto por desenho causal, eficiência por custo-efetividade e sustentabilidade por capacidade institucional e financeira.

Prof. Affonsinho explica, Módulo 02

2.4 O tipo depende da pergunta

Avaliação ex ante ocorre antes da criação, expansão ou reformulação relevante da política. Ela testa diagnóstico, alternativas, custos, benefícios, riscos, público-alvo, desenho, governança e estratégia de implementação. Avaliação ex post ocorre depois da implementação, examinando execução, resultados, impacto, eficiência, equidade, sustentabilidade e recomendações.

Avaliação de desenho verifica coerência da teoria do programa, objetivo, público-alvo, indicadores, arranjo e instrumentos. Avaliação de processo ou implementação examina se a política foi executada conforme previsto. Avaliação de resultado mede mudanças observadas. Avaliação de impacto busca atribuição causal. Avaliação econômica compara custos e benefícios ou custos e efeitos.

Dotôra Soffya não perdoa

A pegadinha clássica: chamar avaliação de resultado de avaliação de impacto. Resultado diz que algo mudou. Impacto exige estimar quanto dessa mudança foi causado pela política.

Prof. Affonsinho explica, Módulo 02

2.5 Avaliar antes de gastar

A análise ex ante deve ocorrer quando se cogita criar, expandir ou reformular política pública. Seu objetivo é evitar solução apressada, gasto mal alocado e programa sem lógica causal. Ela começa pelo diagnóstico do problema: sua magnitude, causas, efeitos, distribuição territorial, público atingido, evidências disponíveis e justificativa para ação estatal.

Depois entram desenho, alternativas, custo orçamentário, impacto financeiro, modelo lógico, riscos, governança, instrumentos, plano de implementação, monitoramento, avaliação e estratégia de legitimidade. Uma boa ex ante não prova que a política vai dar certo; ela aumenta a chance de a política nascer com coerência e condição de ser avaliada depois.

No Guia Ex Ante, indicadores e metas são tratados como elementos inseparáveis do modelo lógico. Isso é essencial: sem indicador, você não mede; sem meta, você não sabe qual mudança seria satisfatória; sem linha de base, você não sabe de onde partiu.

Prof. Affonsinho explica, Módulo 02

2.6 Aprender depois da implementação

A avaliação ex post examina política já implementada. Ela pode perguntar se o diagnóstico continua válido, se o desenho foi mantido, se a implementação alcançou público-alvo, se os indicadores evoluíram, se houve impacto, se há desperdício, se o custo se justifica, se os benefícios são sustentáveis e se há efeitos distributivos indesejados.

O Guia Ex Post destaca que o modelo lógico apoia a formulação de indicadores e dados a serem monitorados durante a execução. Também alerta que a evolução de indicadores de resultado ou impacto ao longo do tempo não corresponde necessariamente ao impacto da política. Essa frase cai em prova com roupa diferente: tendência não é causalidade.

A ex post deve terminar com recomendações claras, viáveis e priorizadas. Pode recomendar manter, ampliar, redesenhar, focalizar, integrar, simplificar, corrigir implementação, trocar instrumento, melhorar dados, revisar metas ou extinguir a política. Avaliação que não conversa com decisão vira relatório bonito dormindo em gaveta digital.

Bate-papo com o Seu Teoffilo

Avaliação ex post não é autópsia administrativa. É aprendizagem institucional com consequência: orçamento, desenho, operação e prioridade precisam ouvir os achados.

Prof. Affonsinho explica, Módulo 02

2.7 Nem tudo está pronto para ser avaliado

Avaliação de avaliabilidade verifica se uma política está madura e estruturada o bastante para ser avaliada de forma útil. Ela analisa clareza de objetivos, teoria do programa, modelo lógico, indicadores, dados disponíveis, estabilidade da intervenção, tempo de maturação, governança, stakeholders, viabilidade ética e custo de avaliação.

O erro comum é encomendar avaliação de impacto de política que não tem cadastro confiável, não definiu público-alvo, mudou regra três vezes, não registrou data de entrada e não possui grupo de comparação. O resultado costuma ser caro e pouco conclusivo.

Avaliabilidade não é desculpa para fugir de avaliação. É triagem. Se a política não está pronta para uma avaliação de impacto, talvez esteja pronta para avaliação de desenho, processo, governança, dados ou monitoramento. Escolher pergunta adequada evita frustração e desperdício.

Alerta do Examinador

Quando a política ainda não teve tempo suficiente para gerar resultado final, não force avaliação de impacto. Pode ser o momento de avaliar implementação e qualidade dos dados.

Prof. Affonsinho explica, Módulo 03

3 Avaliação entrou forte na Constituição

A EC nº 109/2021 incluiu o §16 no art. 37 da Constituição: órgãos e entidades da administração pública, individual ou conjuntamente, devem realizar avaliação das políticas públicas, inclusive com divulgação do objeto a ser avaliado e dos resultados alcançados, na forma da lei. Isso elevou a avaliação a dever constitucional de gestão pública.

O art. 74 também é importante: os Poderes devem manter sistema de controle interno com finalidade de avaliar cumprimento das metas previstas no PPA, execução dos programas de governo e orçamentos, além de comprovar legalidade e avaliar resultados quanto à eficácia e eficiência da gestão orçamentária, financeira e patrimonial.

O art. 165, após a EC nº 109/2021, passou a reforçar que as leis orçamentárias devem observar, no que couber, os resultados do monitoramento e da avaliação de políticas públicas. A mensagem é direta: avaliação não é apêndice acadêmico; deve retroalimentar planejamento e orçamento.

Prof. Affonsinho explica, Módulo 03

3.1 Planejamento, monitoramento e avaliação

A Lei nº 14.802/2024 institui o PPA 2024-2027. Na parte de governança e gestão, a lei conecta implementação, monitoramento, avaliação e revisão. O art. 13 indica que a governança do PPA busca alcançar objetivos e metas, com acesso equitativo e inclusivo às políticas públicas, aperfeiçoando implementação, integração, regionalização, monitoramento, avaliação, revisão e participação social.

O art. 15 prevê monitoramento dos programas e atributos legais e gerenciais do PPA. O art. 16 trata do relatório anual de monitoramento enviado à Comissão Mista de Planos, Orçamentos Públicos e Fiscalização. O art. 17 regulamenta avaliação do PPA como processo sistemático, integrado e institucionalizado de análise de políticas públicas e programas finalísticos.

Para concurso, guarde a conexão: PPA define estrutura de programas, indicadores e metas; monitoramento acompanha execução; avaliação analisa resultados, desenho, implementação e alocação; revisão ajusta o plano. Isso aproxima política pública de orçamento, que é onde muita promessa encontra a realidade.

Raffinha resume

PPA sem monitoramento vira carta de intenção. Monitoramento sem avaliação vira placar sem análise. Avaliação sem revisão vira relatório sem consequência.

Prof. Affonsinho explica, Módulo 03

3.2 Conselho de Monitoramento e Avaliação

O CMAP, reestruturado pelo Decreto nº 11.558/2023, é instância interministerial responsável por avaliações sistemáticas de políticas públicas federais. Seus objetivos são avaliar políticas selecionadas, acompanhar a implementação das propostas de aprimoramento decorrentes das avaliações e apoiar o monitoramento da implementação de políticas públicas.

O Conselho atua por dois comitês: CMAG, para políticas financiadas por gastos diretos, e CMAS, para subsídios da União. A seleção das políticas avaliadas considera materialidade, criticidade e relevância, a partir de programas finalísticos do PPA. O CMAP reúne MPO, Fazenda, MGI, Casa Civil e CGU, com apoio institucional de Ipea, Enap e IBGE.

Em prova, CMAP costuma aparecer em três pegadinhas: confundir gastos diretos com subsídios; tratar avaliação como controle punitivo; e esquecer que o ciclo inclui acompanhamento das propostas de aprimoramento, não apenas publicação do relatório.

Prof. Affonsinho explica, Módulo 03

3.3 Referencial de Controle de Políticas Públicas

O TCU define políticas públicas, para fins de controle, como intervenções e diretrizes emanadas de atores governamentais que visam tratar ou não tratar problemas públicos e que requerem, utilizam ou afetam recursos públicos. Essa definição é ampla e útil: inclui gasto direto, benefício tributário, regulação, programa, ação e escolha de não intervir.

O RC-PP organiza blocos de controle associados ao ciclo: diagnóstico do problema e formação da agenda; análise de alternativas e tomada de decisão; desenho e institucionalização; estruturação da governança e gestão; alocação e gestão de recursos orçamentários e financeiros; operação e monitoramento; avaliação da política pública.

O objetivo do controle não é substituir gestor ou formular política no lugar do Executivo. É avaliar maturidade, governança, legalidade, eficiência, eficácia, efetividade, equidade, risco, evidências e capacidade de alcançar resultados. O controle externo induz aperfeiçoamento, transparência e accountability.

Prof. Affonsinho explica, Módulo 03

3.4 Avaliação depende de arranjo institucional

Governança de políticas públicas envolve institucionalização, planos, objetivos, participação, capacidade organizacional, recursos, coordenação, coerência, monitoramento, avaliação, gestão de riscos, controles internos e accountability. O TCU usa esses componentes no referencial de governança em políticas públicas.

Uma política pode ter bom desenho no papel e fracassar por arranjo ruim: competências sobrepostas, coordenação federativa fraca, dados fragmentados, metas incompatíveis, orçamento insuficiente, alta rotatividade, ausência de liderança, compras lentas ou incentivos desalinhados. Avaliação séria olha para esses gargalos.

Em políticas descentralizadas, governança multinível é decisiva. União, estados, DF, municípios, conselhos, organizações sociais, escola, unidade de saúde, sistema de justiça e sociedade civil podem executar pedaços diferentes da mesma cadeia. O indicador nacional pode melhorar enquanto territórios vulneráveis ficam para trás; por isso, desagregação importa.

Bate-papo com o Seu Teoffilo

Quando a política depende de muitos atores, a pergunta avaliativa precisa sair do "quem errou?" e entrar no "qual engrenagem institucional impede a entrega?". Isso muda a qualidade da recomendação.

Prof. Affonsinho explica, Módulo 03

3.5 Avaliação conversa com dinheiro

Política pública sem análise orçamentária corre risco de prometer mais do que entrega. O ciclo PPA-LDO-LOA traduz prioridades em programação, metas, ações, despesas e resultados esperados. A avaliação deve informar a alocação de recursos, a revisão de programas e a qualidade do gasto.

O Guia Ex Ante dedica parte ao impacto orçamentário e financeiro. Não basta saber se a política é desejável; é preciso saber custo, fonte, sustentabilidade, compatibilidade com regras fiscais, alternativas e custo de oportunidade. Em ambiente de escassez, financiar uma ação significa deixar de financiar outra.

Políticas financiadas por subsídios também são políticas públicas. Benefícios tributários, financeiros e creditícios reduzem receita ou alteram custo de capital para induzir comportamento. Devem ter objetivo, público-alvo, prazo, indicador, avaliação e transparência. O CMAS existe justamente para avaliar esse tipo de intervenção.

Alerta do Examinador

Renúncia tributária não é dinheiro invisível. É instrumento de política pública e precisa ser avaliado em objetivo, custo, benefício, focalização e resultado.

Prof. Affonsinho explica, Módulo 03

3.6 Avaliação também olha confiança

O Guia Ex Ante inclui estratégia de construção de confiança e suporte. Isso importa porque políticas públicas são implementadas em ambiente político e social, não em planilha isolada. Beneficiários, gestores, servidores de ponta, organizações sociais, parlamentares, órgãos de controle e grupos afetados influenciam desenho, execução e uso dos achados.

Participação pode melhorar diagnóstico, revelar barreiras, legitimar escolhas, identificar efeitos distributivos e aumentar uso da avaliação. Mas participação não substitui evidência. O avaliador precisa equilibrar escuta qualificada, método, independência e transparência.

Em avaliações com grupos vulnerabilizados, participação ajuda a enxergar desigualdades invisíveis em média nacional. Um indicador agregado pode esconder que mulheres, pessoas negras, pessoas com deficiência, povos indígenas, comunidades quilombolas, idosos, crianças ou territórios periféricos receberam menos benefício ou enfrentaram mais barreiras.

Dica do Fuffu

Se a política promete equidade, não avalie só média. Média é confortável, mas pode esconder quem ficou para trás.

Prof. Affonsinho explica, Módulo 04

4 A avaliação começa antes da solução

Problema público é diferença relevante entre uma situação existente e uma situação desejada, reconhecida como merecedora de ação pública. O TCU destaca que o problema precisa ser identificado, delimitado, reconhecido socialmente e passível de tratamento. O Guia Ex Ante recomenda caracterizar causas, efeitos, evidências, público afetado, distribuição territorial e justificativa da intervenção estatal.

O erro de prova é formular problema como ausência de solução: "falta criar aplicativo", "falta construir centro", "falta distribuir benefício". Isso não é problema, é solução antecipada. Problema seria baixa cobertura vacinal, evasão escolar, violência contra mulheres, demora no licenciamento, baixa produtividade ou insegurança alimentar, sempre com evidências e recorte.

Diagnóstico bom diferencia sintomas, causas e consequências. Se jovens abandonam escola, a causa pode ser renda, transporte, gravidez, violência, currículo pouco atrativo, trabalho precoce ou baixa aprendizagem. Cada causa pede instrumento diferente. Avaliar política sem entender causa é medir fumaça sem localizar incêndio.

Pegadinha da Blogueirinha Concurseira

Macete viral diz: "achou problema, crie programa". Na vida real, e na prova boa, você diagnostica causa antes de escolher instrumento. Solução pronta costuma ser só fantasia com formulário.

Prof. Affonsinho explica, Módulo 04

4.1 Como a política espera mudar o mundo

Teoria da mudança é explicação causal de como e por que uma intervenção deve produzir resultados. Ela explicita mecanismos, pressupostos, riscos, atores, sequência de efeitos e condições externas. Se o programa oferece bolsa, a teoria pode ser: renda reduz necessidade de trabalho infantil, aumenta frequência escolar, melhora aprendizagem e aumenta renda futura. Cada seta precisa de evidência ou hipótese plausível.

Teoria do programa é a versão operacional: recursos, atividades, produtos, resultados intermediários, resultado final e impactos. O modelo lógico é a representação estruturada dessa teoria. Pawson e Tilley, na avaliação realista, lembram que políticas funcionam de modo diferente conforme contexto e mecanismo: o que funciona, para quem, em quais circunstâncias e por quê?

Sem teoria da mudança, a avaliação vira contagem. Com teoria da mudança, o avaliador consegue perguntar onde a cadeia falhou: faltou insumo, a atividade não ocorreu, o produto não chegou ao público, o resultado intermediário não reagiu, ou o pressuposto causal estava errado.

Bate-papo com o Seu Teoffilo

Teoria da mudança é o "por que isso deveria funcionar?". Se ninguém consegue responder em cinco frases, a política talvez ainda não esteja pronta para virar gasto público.

Prof. Affonsinho explica, Módulo 04

4.2 Da entrada ao impacto

O TCU descreve o modelo lógico como estrutura racional que demonstra como recursos e ações mudam comportamentos, geram produtos e produzem resultados e impactos. Ele conecta resultados pretendidos aos recursos e ações necessários. O RC-PP destaca que o modelo lógico ajuda a modelar a intervenção, definir relações de causa e efeito e estabelecer fundamentos para monitoramento e avaliação.

Os elementos clássicos são insumos, atividades, produtos, resultados intermediários, resultado final e impactos. Alguns modelos adicionam contexto, pressupostos, riscos e fatores externos. O importante é não confundir entrega com mudança social.

Prof. Affonsinho explica, Módulo 04

4.3 Medir o que importa

Indicador é medida quantitativa ou qualitativa que informa estado, evolução, entrega, resultado ou impacto de uma política. Indicadores precisam ser válidos, confiáveis, sensíveis, compreensíveis, disponíveis, tempestivos e comparáveis. O critério SMART ajuda: específico, mensurável, alcançável, relevante e temporalmente definido.

Indicador ruim incentiva comportamento ruim. Se a escola é cobrada só por aprovação, pode reduzir reprovação sem melhorar aprendizagem. Se a unidade de saúde é cobrada só por quantidade de atendimentos, pode atender rápido e mal. Se o órgão é cobrado só por execução orçamentária, pode gastar tudo sem entregar resultado.

Indicador deve estar associado ao modelo lógico. Insumo mede recurso; processo mede atividade; produto mede entrega; resultado mede mudança imediata ou intermediária; impacto mede mudança final atribuível ou associada à política. Meta dá o valor esperado em tempo definido; linha de base mostra o ponto de partida.

Prof. Affonsinho explica, Módulo 04

4.4 Sem ponto de partida, não há chegada

Linha de base é a medida inicial do indicador antes da intervenção ou no começo do período analisado. Meta é valor desejado em prazo determinado. Sem linha de base, você não sabe se melhorou. Sem meta, não sabe se melhorou o suficiente. Sem periodicidade, não sabe quando observar. Sem desagregação, não sabe para quem melhorou.

Metas devem ser realistas e ambiciosas na medida certa. Meta inalcançável desmoraliza a gestão; meta fácil demais produz falsa vitória. Em política pública, metas também precisam conversar com orçamento, capacidade operacional, contexto federativo, sazonalidade e riscos externos.

Em concursos, a pegadinha é confundir meta física, meta financeira e meta de resultado. Construir 100 unidades é meta de produto. Executar 90% do orçamento é meta financeira. Reduzir evasão em 20% é meta de resultado. Melhorar renda futura pode ser impacto, dependendo do desenho.

Alerta do Examinador

Meta de execução não substitui meta de resultado. A política pode executar 100% do orçamento, entregar todos os cursos e ainda não melhorar empregabilidade.

Prof. Affonsinho explica, Módulo 04

4.5 Fonte, qualidade e integração

Avaliação depende de dados. Fontes comuns são registros administrativos, bases orçamentárias, cadastros sociais, pesquisas amostrais, censos, sistemas de atendimento, prontuários, diários escolares, entrevistas, grupos focais, observação, georreferenciamento e dados abertos. Cada fonte tem vantagem e risco.

Registros administrativos podem ser baratos e abrangentes, mas sofrem com mudança de regra, subnotificação, duplicidade e baixa padronização. Pesquisas amostrais podem medir variável inexistente em cadastro, mas custam caro e dependem de desenho amostral. Dados qualitativos explicam mecanismos e barreiras que número sozinho não mostra.

Qualidade de dados envolve completude, consistência, validade, precisão, tempestividade, interoperabilidade e rastreabilidade. A LGPD exige base legal, finalidade, necessidade, segurança e cuidado com dados pessoais. Em avaliação, ética não é enfeite: é condição para confiança e proteção de pessoas afetadas.

Raffinha resume

Dado administrativo é tentador porque já existe. Mas "existe" não significa "serve". Confira definição, cobertura, data, alteração de sistema e incentivo de preenchimento.

Prof. Affonsinho explica, Módulo 04

4.6 A pergunta manda no método

Uma avaliação deve começar por perguntas claras. "A política é boa?" é vago. "A política aumentou a frequência escolar de estudantes beneficiários em relação a estudantes elegíveis não atendidos?" é avaliável. "O processo de seleção chega ao público vulnerável?" pede método. "O custo por beneficiário é menor que alternativa comparável?" pede outro.

Perguntas podem ser descritivas, normativas, explicativas ou causais. Descritiva: o que foi entregue? Normativa: foi entregue conforme padrão? Explicativa: por que funcionou ou falhou? Causal: qual efeito foi causado pela política? Cada tipo pede dado e método diferente.

Prof. Affonsinho explica, Módulo 04

4.7 Escopo, governança e matriz

Um plano de avaliação deve definir objeto, justificativa, perguntas, critérios, hipóteses, teoria da mudança, indicadores, fontes, métodos, amostra, cronograma, equipe, governança, orçamento, riscos, produtos, estratégia de comunicação e uso esperado. Em controle externo, isso se aproxima de matriz de planejamento.

A matriz de avaliação costuma relacionar pergunta avaliativa, critério, evidência necessária, fonte de dados, método de coleta, método de análise, limitação e produto esperado. Ela reduz improviso e ajuda stakeholders a entender o que a avaliação pode e não pode responder.

Também é preciso definir independência e participação. Avaliação interna conhece contexto e pode ser mais rápida; avaliação externa pode ter maior independência percebida. Avaliação participativa aumenta legitimidade e uso. A escolha depende de risco, finalidade, sensibilidade política e capacidade técnica.

Bate-papo com o Seu Teoffilo

Uma avaliação sem matriz é uma viagem sem mapa: até pode chegar em algum lugar, mas ninguém sabe se era o lugar combinado.

Prof. Affonsinho explica, Módulo 05

5 O número não explica tudo sozinho

Métodos qualitativos incluem entrevistas, grupos focais, observação, estudo de caso, análise documental, análise de conteúdo, etnografia rápida, oficinas e mapeamento de processos. Eles ajudam a entender contexto, mecanismo, percepção, barreira, implementação, governança, uso político e efeitos não previstos.

Qualitativo não é "achismo com gravador". Exige amostragem intencional justificável, roteiro, saturação, triangulação, registro, codificação, transparência analítica e cuidado ético. A força do método está em profundidade, explicação e descoberta de mecanismos.

Em avaliação, qualitativo é especialmente útil quando a política é nova, complexa, descentralizada, sensível ou mal documentada. Também ajuda a interpretar achado quantitativo: o indicador piorou porque a política falhou, porque a busca ativa encontrou casos ocultos ou porque a regra de registro mudou?

Dica do Fuffu

Use qualitativo para entender o "como" e o "por quê". Use quantitativo para medir magnitude e padrão. Use os dois quando a política for grande demais para caber em uma lente só.

Prof. Affonsinho explica, Módulo 05

5.1 Medida, comparação e incerteza

Métodos quantitativos usam dados numéricos para descrever execução, estimar associação, comparar grupos, medir resultados, modelar tendências, calcular custo, testar hipóteses e estimar impacto. Podem usar estatística descritiva, inferência, regressão, séries temporais, desenho amostral e econometria aplicada.

O ponto de prova é reconhecer limitações. Correlação não implica causalidade. Amostra enviesada distorce conclusão. Média pode esconder desigualdade. Série temporal pode refletir choque externo. Indicador pode mudar por alteração de registro. Regressão não salva dado ruim nem desenho causal fraco.

Quantitativo bom precisa de definição operacional clara, base confiável, tratamento de valores ausentes, identificação de outliers, pesos amostrais quando cabíveis, intervalo de confiança, análise de sensibilidade e transparência sobre limitações.

Alerta do Examinador

Se o enunciado disser que "houve queda após a política, logo a política causou a queda", a banca está testando causalidade. Falta o contrafactual.

Prof. Affonsinho explica, Módulo 05

5.2 Triangulação de evidências

Métodos mistos combinam dados qualitativos e quantitativos. A combinação pode ser sequencial, quando uma fase informa a outra, ou convergente, quando ambas são coletadas em paralelo e comparadas. O objetivo é triangular achados, explicar mecanismos, validar interpretações e aumentar utilidade da avaliação.

Exemplo: análise quantitativa mostra que programa de capacitação não aumentou emprego. Entrevistas revelam que cursos eram ofertados em horários incompatíveis, sem transporte e sem conexão com demanda local. A recomendação muda: não é apenas "acabar com o programa"; pode ser redesenhar oferta, seleção e articulação com empregadores.

A banca costuma tratar método misto como soma decorativa. Não é. Mistura só faz sentido se as perguntas exigirem lentes diferentes e se a integração ocorrer na análise. Dois relatórios colados não são método misto; são trabalho em grupo sem conversa.

Bate-papo com o Seu Teoffilo

Quando o número diz "não funcionou", o qualitativo pode explicar se o problema foi teoria, implementação, contexto ou indicador. A avaliação fica menos apressada.

Prof. Affonsinho explica, Módulo 05

5.3 A política foi entregue?

Avaliação de processo ou implementação verifica se a política foi executada conforme planejado, com qualidade, cobertura e fidelidade suficientes. Ela analisa fluxos, governança, recursos, capacitação, compras, sistemas, comunicação, critérios de elegibilidade, seleção, atendimento, controle, prazos e gargalos.

Pressman e Wildavsky mostraram que implementação é um problema complexo: muitas decisões, muitos atores, pontos de veto e adaptação. Lipsky explicou a burocracia de nível de rua: agentes que atendem diretamente o cidadão exercem discricionariedade e podem redesenhar a política na prática.

Antes de avaliar impacto, pergunte se a política chegou ao público. Se não chegou, a avaliação de impacto pode concluir "sem efeito" quando, na verdade, o programa nunca foi implementado de modo suficiente. Isso é falha de implementação, não necessariamente falha de teoria.

Dotôra Soffya não perdoa

Avaliar impacto de política que não foi implementada é como medir velocidade de carro sem motor. O resultado é tecnicamente elegante e praticamente inútil.

Prof. Affonsinho explica, Módulo 05

5.4 O que mudou

Avaliação de resultados examina mudanças observadas em indicadores associados aos objetivos da política. Pode medir redução de fila, aumento de cobertura, melhora de aprendizagem, queda de mortalidade, aumento de renda, redução de violência, melhora de satisfação ou aumento de formalização.

Ela é fundamental para gestão, mas deve ser interpretada com cuidado. Mudança observada pode decorrer da política, de outra política, de ciclo econômico, de mudança demográfica, de alteração de registro, de regressão à média, de seleção de beneficiários, de choque externo ou de tendência pré-existente.

Avaliação de resultados é mais forte quando compara linha de base, metas, grupos, territórios, séries temporais e contexto. Mas, para afirmar impacto causal, precisa de desenho que estime o contrafactual.

Raffinha resume

Resultado responde "mudou?". Impacto responde "mudou por causa da política?". Parece detalhe, mas é o detalhe que separa relatório honesto de propaganda.

Prof. Affonsinho explica, Módulo 05

5.5 A pergunta causal

Avaliação de impacto busca estimar a diferença causada pela intervenção. A pergunta é: o que aconteceu com os beneficiários em comparação ao que teria acontecido com eles sem a política? Esse "sem a política" é o contrafactual, que não observamos diretamente. O método de impacto tenta aproximá-lo.

O problema fundamental da inferência causal é que a mesma unidade não pode ser observada, ao mesmo tempo, tratada e não tratada. Por isso usamos grupos de controle, comparação, aleatorização, regras de elegibilidade, limiares, variações no tempo, pareamento ou instrumentos.

O Banco Mundial organiza os métodos de impacto em torno da causalidade e apresenta aleatorização, variáveis instrumentais, regressão descontínua, diferença-em-diferenças, pareamento e desafios metodológicos. Em concurso, não precisa virar econometrista completo, mas precisa saber qual método serve a qual situação e quais pressupostos sustenta.

Prof. Affonsinho explica, Módulo 05

5.6 RCT e sorteio

Ensaio aleatorizado, ou RCT, distribui unidades elegíveis aleatoriamente entre tratamento e controle. Quando bem executado, o sorteio tende a equilibrar características observáveis e não observáveis entre grupos, permitindo atribuir diferenças médias ao tratamento. É considerado padrão forte de identificação causal.

Nem sempre é viável ou ético. Não se deve sortear privação de direito essencial. Também há problemas de contaminação, não adesão, desistência, efeito Hawthorne, validade externa e custo. Aleatorização precisa ser desenhada antes da implementação, com consentimento e critérios claros quando envolver pessoas.

Em políticas com demanda maior que vagas, sorteio pode ser ético e útil. Em rollout gradual, é possível aleatorizar ordem de entrada. Em comunicação, pode-se testar variações. O ponto é: aleatorização é poderosa, mas não é religião metodológica.

Alerta do Examinador

RCT melhora validade interna, mas não garante validade externa. Um programa que funcionou em um município com equipe excelente pode não funcionar igual em escala nacional.

Prof. Affonsinho explica, Módulo 05

5.7 Quando não há sorteio

Quase-experimentos tentam aproximar o contrafactual sem aleatorização. Diferença-em-diferenças compara mudança ao longo do tempo entre grupo tratado e grupo de comparação, exigindo pressuposto de tendências paralelas. Regressão descontínua explora regra de elegibilidade com ponto de corte: unidades logo acima e logo abaixo do limiar são comparáveis.

Pareamento busca comparar tratados e não tratados com características observáveis semelhantes, mas não corrige viés por variável não observada. Variável instrumental usa fator que afeta a participação, mas não afeta o resultado senão pelo tratamento, pressuposto forte e frequentemente difícil. Série temporal interrompida analisa mudança de nível ou tendência após intervenção.

Prof. Affonsinho explica, Módulo 05

5.8 Onde a causalidade quebra

As principais ameaças são viés de seleção, confundimento, atrito, contaminação, spillover, mudança de composição, regressão à média, maturação, história, mudança de instrumento de medição, manipulação de elegibilidade, não conformidade e baixa validade externa.

Viés de seleção ocorre quando participantes diferem dos não participantes em características que afetam o resultado. Spillover ocorre quando o grupo controle é afetado indiretamente. Atrito ocorre quando unidades saem da amostra de modo não aleatório. Regressão à média ocorre quando selecionamos casos extremos que tenderiam a voltar ao normal mesmo sem intervenção.

Uma avaliação honesta não esconde limitações. Ela testa robustez, declara pressupostos, usa análise de sensibilidade e evita conclusão maior do que o método permite. Em prova, a alternativa correta geralmente é a mais humilde tecnicamente.

Dotôra Soffya não perdoa

Conclusão causal forte com desenho fraco é perfume em relatório vazio. A banca fareja de longe.

Prof. Affonsinho explica, Módulo 05

5.9 Custo-benefício e custo-efetividade

Avaliação econômica compara custos e consequências. Análise custo-benefício monetiza custos e benefícios para estimar valor líquido, razão benefício-custo ou taxa interna de retorno social. Custo-efetividade compara custo por unidade de resultado, como custo por aluno alfabetizado, morte evitada ou emprego criado. Custo-utilidade aparece muito em saúde, usando medidas como QALY ou DALY em contextos internacionais.

O desafio é monetizar benefícios intangíveis, escolher taxa de desconto, evitar dupla contagem, tratar externalidades, considerar distribuição e lidar com incerteza. Nem tudo que importa cabe em reais, mas custo de oportunidade existe mesmo quando a política é nobre.

Em concurso, custo-benefício responde se benefícios monetizados superam custos. Custo-efetividade compara alternativas com objetivo semelhante. Eficiência técnica pergunta se há desperdício. Eficiência alocativa pergunta se recursos foram destinados ao melhor uso social.

Bate-papo com o Seu Teoffilo

Uma política pode ser efetiva e ainda assim cara demais diante de alternativa mais barata. A avaliação econômica existe para fazer essa pergunta desconfortável com método.

Prof. Affonsinho explica, Módulo 05

5.10 Para quem funcionou?

Equidade pergunta como custos e benefícios se distribuem entre grupos, territórios e condições sociais. Uma política pode melhorar média nacional e ampliar desigualdade se beneficiar mais quem já tinha acesso. Por isso, avaliações modernas desagregam indicadores por renda, raça/cor, gênero, idade, deficiência, território, rural/urbano e outras dimensões relevantes.

A OCDE incorporou preocupações distributivas em relevância, eficácia e impacto. O TCU também passou a enfatizar equidade em políticas públicas, orientando controle a considerar desigualdades estruturais e grupos vulnerabilizados. No Brasil, isso conversa com Constituição, direitos fundamentais, objetivos da República e planejamento inclusivo do PPA.

Equidade não é "tema social" separado. É critério transversal. Em infraestrutura, saneamento, saúde, educação, segurança, tributo, crédito e inovação, sempre há pergunta distributiva: quem recebe, quem paga, quem espera, quem é excluído e quem sofre efeito colateral?

Dica do Fuffu

Quando você vir resultado médio, procure a pergunta escondida: média de quem?

Prof. Affonsinho explica, Módulo 06

6 Avaliação precisa virar decisão

Recomendação boa é específica, factível, priorizada, vinculada ao achado, endereçada a ator competente, acompanhada de prazo e indicador de acompanhamento. Recomendação ruim é genérica: "melhorar a gestão", "fortalecer a governança", "aperfeiçoar os controles". Isso parece sério, mas não move a política.

Patton, na avaliação focada no uso, defende que a avaliação deve ser desenhada pensando nos usuários primários e nas decisões que precisam ser tomadas. Carol Weiss mostrou que o uso de avaliação pode ser instrumental, conceitual, político ou simbólico. Em governo, muitas avaliações não mudam imediatamente a decisão, mas alteram linguagem, agenda e entendimento institucional.

O CMAP inclui acompanhamento das propostas de aprimoramento. O TCU também monitora deliberações. O ciclo só fecha quando recomendação vira plano de ação, implementação e nova evidência.

Bate-papo com o Seu Teoffilo

Achado sem recomendação é diagnóstico. Recomendação sem responsável é conselho. Responsável sem prazo é promessa. Prazo sem indicador é neblina.

Prof. Affonsinho explica, Módulo 06

6.1 Relatório que alguém usa

Relatório de avaliação deve apresentar objeto, contexto, perguntas, critérios, método, fontes, limitações, achados, conclusões, recomendações, evidências e anexos técnicos. Para tomadores de decisão, sumário executivo precisa ser claro, honesto e direto. Para técnicos, metodologia precisa ser auditável. Para sociedade, linguagem precisa ser compreensível.

Visualização de dados ajuda, mas não substitui análise. Gráfico bonito com indicador mal definido só deixa o erro colorido. Bons relatórios distinguem fato, interpretação e recomendação. Também indicam incerteza, limites de generalização e possíveis efeitos indesejados.

A divulgação pública fortalece accountability, mas exige cuidado com dados pessoais, sigilo, segurança e interpretação responsável. O art. 37, §16, da Constituição fala em divulgação do objeto avaliado e dos resultados alcançados, na forma da lei.

Alerta do Examinador

Transparência não autoriza expor dado pessoal sensível sem base legal e salvaguarda. Avaliação pública continua sujeita a LGPD, ética e segurança da informação.

Prof. Affonsinho explica, Módulo 06

6.2 Pessoas não são só unidades amostrais

Avaliações podem afetar benefícios, reputação, orçamento, acesso a serviços e grupos vulneráveis. Por isso, exigem ética: consentimento quando aplicável, minimização de risco, confidencialidade, proteção de dados, não discriminação, transparência, independência, gestão de conflito de interesses e devolutiva responsável.

Em avaliação experimental, a ética pesa mais. Sorteio deve ser justificável, especialmente quando há escassez real de vagas ou faseamento inevitável. Não é aceitável negar direito essencial apenas para criar grupo controle. Também é preciso cuidar de expectativas, danos indiretos e tratamento diferenciado.

Em políticas sensíveis, como violência, saúde, assistência, justiça e infância, coleta de dados pode reabrir trauma ou expor pessoas. Avaliador responsável planeja abordagem, equipe, encaminhamento e proteção.

Raffinha resume

Avaliação quer evidência, mas não pode transformar beneficiário em peça de laboratório administrativo.

Prof. Affonsinho explica, Módulo 06

6.3 Diagnóstico rápido e padronizado

Avaliação executiva é abordagem mais sintética, estruturada e comparável, útil para examinar rapidamente desenho, implementação, governança, resultados, monitoramento, orçamento e oportunidades de aprimoramento. O CMAP passou a adotar modelo de avaliações executivas em ciclos recentes, conforme informação institucional do Ministério do Planejamento.

Ela não substitui todos os tipos de avaliação. Quando há pergunta causal específica, pode ser necessária avaliação de impacto. Quando há gargalo operacional, avaliação de processo. Quando há decisão de alocação, avaliação econômica. A avaliação executiva funciona como fotografia ampla e orientadora.

Em prova, se o enunciado fala em comparar várias políticas, selecionar prioridades e produzir diagnóstico gerencial com recomendações, pense em avaliação executiva. Se fala em estimar efeito causal de um programa específico, pense em impacto.

Alerta do Examinador

Avaliação executiva é útil, mas não autoriza conclusão causal forte se o desenho não estimou contrafactual.

Prof. Affonsinho explica, Módulo 06

6.4 Testar antes de escalar

Políticas inovadoras precisam de avaliação desde o início. Pilotos, protótipos, testes A/B, sandbox, desenho centrado no usuário e experimentação controlada ajudam a aprender antes de escalar. O erro é transformar piloto em política nacional sem saber se funcionou, para quem e a que custo.

Transformação digital amplia dados e velocidade, mas também cria riscos: exclusão digital, vieses algorítmicos, opacidade, vigilância indevida, dependência tecnológica e desigualdade territorial. Avaliar política digital exige olhar experiência do usuário, acessibilidade, segurança, interoperabilidade, efetividade e equidade.

Inovação responsável não é novidade pela novidade. É hipótese testável, proteção contra dano, aprendizagem rápida e decisão baseada em evidência. Às vezes a melhor inovação é parar de fazer algo que não funciona.

Bate-papo com o Seu Teoffilo

Escalar política sem avaliação é multiplicar incerteza com orçamento público. Pode dar certo, mas não é gestão; é aposta.

Prof. Affonsinho explica, Módulo 06

6.5 O que derruba candidato bom

Primeira: confundir produto com resultado. Segunda: confundir resultado com impacto. Terceira: achar que monitoramento é avaliação. Quarta: dizer que avaliação ex ante ocorre depois. Quinta: afirmar que custo-benefício e custo-efetividade são iguais. Sexta: ignorar contrafactual. Sétima: tratar avaliação qualitativa como método sem rigor.

Oitava: usar indicador sem linha de base. Nona: avaliar média sem desagregar equidade. Décima: recomendar mudança sem responsável, prazo e evidência. Décima primeira: acreditar que execução orçamentária prova eficiência. Décima segunda: esquecer que subsídios também são políticas públicas.

Prof. Affonsinho explica, Módulo 06

6.6 Como escrever resposta forte

Em discursiva, comece delimitando problema público e unidade de análise. Depois explique teoria da mudança e modelo lógico. Em seguida, diferencie monitoramento, avaliação de processo, resultado, impacto e econômica. Aponte indicadores com linha de base, metas, fontes e desagregação. Feche com método, limitações, uso dos achados e recomendações.

Se o tema pedir institucionalidade, cite art. 37, §16, art. 74, PPA 2024-2027, CMAP e TCU. Se pedir causalidade, fale em contrafactual, grupo de comparação e vieses. Se pedir qualidade do gasto, fale em custo-benefício, custo-efetividade, orçamento, subsídios e custo de oportunidade. Se pedir equidade, fale em desagregação, grupos vulnerabilizados e distribuição de efeitos.

Evite frase vazia: "avaliar é importante para melhorar políticas". Escreva com mecanismo: "a avaliação transforma dados de implementação e resultado em evidências para revisar desenho, realocar recursos, corrigir gargalos, aumentar equidade e prestar contas à sociedade". Melhor, né?

Dica do Fuffu

Na discursiva, use a sequência: problema - modelo lógico - indicadores - método - achados - recomendações - uso. Parece simples porque é para ser simples mesmo.

Prof. Affonsinho explica, Módulo 06

6.7 Revisão de véspera

Você precisa sair desta aula sabendo explicar: política pública, problema público, ciclo, ex ante, ex post, modelo lógico, teoria da mudança, indicador, meta, linha de base, monitoramento, avaliação de processo, resultado, impacto, avaliação econômica, equidade, CMAP, PPA e TCU.

Também precisa reconhecer método pelo enunciado. Sorteio? RCT. Ponto de corte? Regressão descontínua. Antes/depois com grupo comparação? Diferença-em-diferenças. Comparação por características observáveis? Pareamento. Pergunta sobre barreiras e implementação? Qualitativo ou processo. Pergunta sobre custo por unidade de resultado? Custo-efetividade.

Por fim, guarde o núcleo constitucional: avaliar políticas públicas é dever da Administração, com divulgação do objeto e resultados, e deve retroalimentar planejamento e orçamento. Isso é a espinha dorsal da cobrança moderna.

Bate-papo com o Seu Teoffilo

Avaliação boa não humilha gestor nem aplaude governo. Ela reduz autoengano institucional. E isso, em política pública, já é quase uma revolução silenciosa.

Mapa mental de Avaliação

Use este mapa para organizar a disciplina antes de fazer questões: ele separa objeto, método, instituição e uso.

Último ajuste

Se a questão pedir "qual avaliação usar?", volte à pergunta: desenho, implementação, resultado, impacto, custo ou equidade? A pergunta escolhe o método.

Fontes usadas

Esta aula foi estruturada a partir de editais recentes, normas vigentes e guias técnicos oficiais, priorizando o que aparece de modo recorrente em concursos de gestão pública, planejamento, controle e políticas públicas.

Questão comentada

Q1

Questão 01 · Comentada

Enunciado. A avaliação de impacto de uma política pública consiste em verificar a diferença causada pela intervenção em relação ao que teria ocorrido com o público-alvo na ausência da política. (Certo / Errado)

Gabarito: Certo

Prof. Affonsinho comenta

A questão descreve a ideia de contrafactual.

• Item correto: impacto exige comparação com cenário contrafactual, ainda que estimado por desenho experimental ou quase-experimental.
• Cuidado importante: resultado positivo observado depois da política não basta para afirmar impacto causal.

Tese central: impacto é diferença causal atribuível à política, não simples evolução temporal de indicador.

Questão comentada

Q2

Questão 02 · Comentada

Enunciado. Avaliação ex ante é realizada após a implementação da política, com o objetivo de medir seus efeitos concretos sobre beneficiários e não beneficiários. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

A banca inverteu ex ante e ex post.

• Ex ante prévia: analisa problema, alternativas, desenho, custos, riscos, indicadores e implementação antes da criação ou reformulação.
• Ex post posterior: examina política já implementada, seus processos, resultados, impactos e recomendações.

Tese central: ex ante vem antes; ex post vem depois.

Questão comentada

Q3

Questão 03 · Comentada

Enunciado. Assinale a alternativa que melhor representa indicador de produto em um modelo lógico de política de capacitação profissional.

1. A) Redução da taxa de desemprego entre participantes.
2. B) Número de alunos certificados ao fim do curso.
3. C) Aumento da renda média dos egressos em dois anos.
4. D) Crescimento do PIB municipal.
5. E) Melhora de autoestima declarada pela comunidade.

Gabarito: B

Prof. Affonsinho comenta

Produto é entrega direta da atividade.

• A errada: desemprego entre participantes é resultado ou impacto, conforme desenho.
• B CORRETA: certificados são entrega direta da capacitação.
• C errada: renda futura é resultado final ou impacto.
• D errada: PIB municipal é impacto macro, distante da entrega.
• E errada: autoestima é resultado percebido, não produto direto.

Tese central: produto mede entrega; resultado mede mudança; impacto mede diferença causal mais ampla.

Questão comentada

Q4

Questão 04 · Comentada

Enunciado. O art. 37, §16, da Constituição Federal, incluído pela EC nº 109/2021, estabelece dever de realização de avaliação de políticas públicas, inclusive com divulgação do objeto a ser avaliado e dos resultados alcançados, na forma da lei. (Certo / Errado)

Gabarito: Certo

Prof. Affonsinho comenta

Esse é um dispositivo constitucional muito cobrável.

• Item correto: a EC nº 109/2021 deu status constitucional ao dever de avaliação.
• Conexão importante: o tema também dialoga com PPA, orçamento, controle interno e transparência.

Tese central: avaliação de políticas públicas deixou de ser apenas boa prática e virou dever constitucional.

Questão comentada

Q5

Questão 05 · Comentada

Enunciado. O monitoramento substitui a avaliação, pois acompanha continuamente indicadores e, por isso, dispensa análise sistemática de relevância, eficiência, eficácia, impacto e sustentabilidade. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

Monitoramento e avaliação se complementam.

• Monitoramento acompanha: observa execução, entregas, indicadores e metas de forma contínua ou periódica.
• Avaliação analisa: julga mérito, valor, causalidade, eficiência, efetividade e explicações.

Tese central: monitoramento informa a avaliação, mas não a substitui.

Questão comentada

Q6

Questão 06 · Comentada

Enunciado. Em avaliação de políticas públicas, a teoria da mudança explicita os mecanismos causais pelos quais a intervenção deve produzir resultados, bem como pressupostos, riscos e condições de contexto. (Certo / Errado)

Gabarito: Certo

Prof. Affonsinho comenta

A definição está adequada.

• Teoria correta: explica como e por que a intervenção deveria gerar mudança.
• Uso prático: ajuda a identificar se falhou desenho, implementação, contexto ou pressuposto causal.

Tese central: teoria da mudança torna avaliável a cadeia entre intervenção e resultado.

Questão comentada

Q7

Questão 07 · Comentada

Enunciado. No âmbito do CMAP, políticas financiadas por gastos diretos e políticas financiadas por subsídios da União são tratadas por comitês específicos, respectivamente CMAG e CMAS. (Certo / Errado)

Gabarito: Certo

Prof. Affonsinho comenta

A questão cobra estrutura institucional.

• CMAG correto: Comitê de Monitoramento e Avaliação de Gastos Diretos.
• CMAS correto: Comitê de Monitoramento e Avaliação dos Subsídios da União.

Tese central: o CMAP diferencia gastos diretos e subsídios, mas ambos podem financiar políticas públicas avaliáveis.

Questão comentada

Q8

Questão 08 · Comentada

Enunciado. Assinale o método mais adequado quando a elegibilidade de uma política é definida por nota mínima em índice socioeconômico, e unidades próximas ao ponto de corte podem ser comparadas.

1. A) Regressão descontínua.
2. B) Grupo focal.
3. C) Análise SWOT.
4. D) Custo-benefício sem comparação.
5. E) Análise documental simples.

Gabarito: A

Prof. Affonsinho comenta

Ponto de corte chama regressão descontínua.

• A CORRETA: RDD explora descontinuidade em regra de elegibilidade.
• B errada: grupo focal é qualitativo, útil para mecanismos, não para esse desenho causal.
• C errada: SWOT é ferramenta de análise estratégica, não método causal.
• D errada: custo-benefício avalia relação econômica, não identifica o efeito nesse desenho.
• E errada: documentos podem ajudar, mas não exploram o limiar.

Tese central: quando há ponto de corte de elegibilidade, pense em regressão descontínua.

Questão comentada

Q9

Questão 09 · Comentada

Enunciado. Uma política pode apresentar elevada eficácia na entrega de produtos e, ao mesmo tempo, baixa efetividade, caso os produtos entregues não produzam a mudança social pretendida. (Certo / Errado)

Gabarito: Certo

Prof. Affonsinho comenta

Esse é o coração da diferença entre entrega e resultado.

• Eficácia entrega: pode indicar cumprimento de metas de produtos ou objetivos imediatos.
• Efetividade resultado social: exige mudança relevante no problema público.

Tese central: entregar muito não significa transformar o problema que justificou a política.

Questão comentada

Q10

Questão 10 · Comentada

Enunciado. Sobre recomendações de avaliação, assinale a alternativa correta.

1. A) Devem ser genéricas para preservar discricionariedade absoluta do gestor.
2. B) Devem estar vinculadas aos achados, indicar responsável, prioridade, prazo e forma de acompanhamento.
3. C) São dispensáveis quando o relatório apresenta gráficos suficientes.
4. D) Devem sempre recomendar extinção de políticas sem impacto estatisticamente significativo.
5. E) Não devem mencionar limitações metodológicas, para evitar perda de autoridade.

Gabarito: B

Prof. Affonsinho comenta

Recomendação precisa ser útil e rastreável.

• A errada: generalidade excessiva impede implementação.
• B CORRETA: recomendação boa conecta achado, responsável, prioridade, prazo e monitoramento.
• C errada: gráficos não substituem decisão recomendada.
• D errada: ausência de impacto pode pedir redesenho, nova avaliação, melhoria de implementação ou extinção, conforme caso.
• E errada: limitações devem ser transparentes.

Tese central: avaliação só vira gestão quando recomendações são claras, viáveis e acompanháveis.