Ciência
de Dados
Aula completa para concursos públicos: edital real, dados e governança, estatística, SQL e NoSQL, data warehouse, BI, ETL/ELT, Big Data, KDD, CRISP-DM, aprendizado de máquina, deep learning, NLP, IA generativa, LLM, RAG, MLOps, visualização, LGPD e jurisprudência.
Sumário estratégico
Ciência de Dados virou matéria de edital grande. Não aparece mais só como curiosidade de TI: aparece em controle externo, fiscal, Banco Central, Polícia Federal, tribunais, Câmara dos Deputados e CPNU. A banca quer que você saiba o conceito, mas também quer que você perceba a pegadinha técnica: métrica errada, etapa trocada, algoritmo no grupo errado, LGPD ignorada.
- p. 04Raio-X dos editaisO que mais cai e como priorizar o estudo
- p. 06Dados, ciclo de vida e governançaDado, informação, qualidade, DMBOK, metadados e linhagem
- p. 08Estatística aplicadaDescritiva, probabilidade, amostragem, hipótese, correlação e regressão
- p. 10SQL, relacional e NoSQLModelagem, chaves, normalização, consultas e bancos não relacionais
- p. 12DW, BI, OLAP e ETLKimball, Inmon, estrela, floco, cubos e métricas
- p. 14Big Data e engenharia de dados5 Vs, Hadoop, Spark, lake, lakehouse, batch e streaming
- p. 16KDD, mineração e CRISP-DMPreparação, padrões, associação, classificação, clusterização e anomalias
- p. 19Machine learningModelos, métricas, overfitting, validação cruzada, PCA e viés
- p. 24Deep learning, NLP, LLM e RAGRedes neurais, transformers, embeddings, prompt, RAG e MLOps
- p. 28LGPD, jurisprudência e revisão finalEC 115/2022, LGPD, ADI 6387, ADI 6649, Súmula 550 STJ e questões
O que você precisa sair sabendo
Identificar temas recorrentes, palavras de banca e prioridade real de estudo.
Dominar ciclo de vida, qualidade, metadados, linhagem, governança e DMBOK.
Média, mediana, variância, desvio, probabilidade, amostragem, teste de hipótese, correlação e regressão.
Modelo relacional, SQL, chaves, normalização, índices, visões e NoSQL.
Data warehouse, data mart, ETL/ELT, OLAP, modelo dimensional, data lake, lakehouse e data mesh.
Preparação, seleção, transformação, mineração, interpretação, implantação e avaliação.
Supervisionado, não supervisionado, semissupervisionado, reforço, transferência, métricas e validação.
Deep learning, NLP, LLM, RAG, MLOps, decisões automatizadas, proteção de dados e jurisprudência.
Dica do Fuffu
Se o edital trouxer análise de dados, estude Ciência de Dados como um bloco integrado: dados + estatística + banco + engenharia + mineração + ML + governança. A banca adora trocar o nome da disciplina para parecer novidade, mas o núcleo técnico se repete.
Prof. Affonsinho explica, Módulo 011 O que mais cai em concursos
Eu mapeei editais e provas recentes de bancas grandes, com foco em CPNU/FGV, Cebraspe e concursos de alto valor para controle, fiscal, tecnologia, segurança e tribunais. O resultado é menos misterioso do que parece: as bancas cobram Ciência de Dados em camadas. Primeiro, perguntam se você entende dado e banco. Depois, se domina DW/BI/ETL. Em seguida, entram mineração e aprendizado de máquina. Nos editais mais novos, aparecem IA generativa, LLM, RAG e governança de dados.
| Fonte recente | Temas que apareceram | Prioridade |
|---|---|---|
| CPNU/FGV 2025 - Bloco 3 | Ciências, dados e tecnologia; produção, sistematização, interpretação e aplicação de dados; BI, mineração, aprendizado de máquina, big data e ferramentas. | Altíssima |
| BCB/Cebraspe 2024 | ML, deep learning, NLP, validação cruzada, overfitting, Hadoop, qualidade de dados e tipos de aprendizado. | Altíssima |
| TCE-MG/Cebraspe 2025 | Dado, informação, abertos, relacional, modelagem dimensional, CRISP-DM, classificação, associação, clusterização, anomalias, Big Data, Power BI, Tableau, SQL, Python e R. | Altíssima |
| PF/Cebraspe 2025 | Dados, Data Warehouse, Data Mart, Data Lake, Data Mesh, metadados, BI, mineração, ML, IA, Big Data, Python, API e ETL/ELT. | Alta |
| TJ-PA/Cebraspe 2025 | Business Intelligence, Data Warehouse, Data Mart, Data Mining, Data Lake, Data Mesh, ETL, ODI, ML, deep learning, NLP, qualidade, LLM, IA generativa e redes neurais. | Altíssima |
| Câmara/Cebraspe 2025 | Big Data, estruturados e não estruturados, ETL, mineração, pré-processamento, estatística, probabilidade, normalização, outliers, visualização e storytelling. | Alta |
| SEFAZ/Cebraspe 2025 | Análise de dados, banco relacional, metadados, modelagem dimensional, CRISP-DM, mineração, Big Data, visualização, planilhas, SQL e estatística. | Alta |
Alerta do Examinador
Quando a banca escreve análise de dados, não leia como sinônimo estreito de gráfico. Em edital, isso costuma puxar banco de dados, ETL, qualidade, visualização, estatística, mineração e ML. O nome é manso; o conteúdo vem com coturno.
Prof. Affonsinho explica, Módulo 011.1 Ordem inteligente de estudo
Se você tentar estudar Ciência de Dados como uma prateleira de palavras modernas, vira sopa de sigla. A ordem boa é outra: comece pelo que o dado é, passe pelo modo como ele é guardado, aprenda como ele entra no pipeline, entenda como vira análise, e só então vá para modelos. O edital não está pedindo magia. Está pedindo encadeamento técnico.
| Camada | O que cai | Como a banca costuma distorcer |
|---|---|---|
| Fundamentos | Dado, informação, conhecimento, tipos de dado, ciclo de vida, qualidade e governança. | Confunde qualidade com segurança; confunde dado estruturado com dado limpo; chama metadado de dado operacional. |
| Banco e BI | Relacional, SQL, DW, data mart, OLAP, ETL/ELT, modelo estrela, dashboards. | Diz que OLAP atualiza transação operacional; troca fato por dimensão; trata ETL como simples cópia. |
| Big Data | 5 Vs, Hadoop, HDFS, MapReduce, Spark, NoSQL, lake, lakehouse, streaming. | Fala que Hadoop é banco relacional; diz que Spark só processa em disco; usa data lake como DW curado. |
| Mineração | KDD, CRISP-DM, pré-processamento, classificação, regressão, clusterização, associação, anomalia. | Troca etapas; mistura tarefa supervisionada com não supervisionada; esquece a preparação. |
| ML e IA | Treino/teste, validação cruzada, métricas, overfitting, regularização, PCA, deep learning, NLP, LLM. | Usa acurácia em base desbalanceada; chama PCA de classificador; diz que BoW preserva ordem. |
| Governança jurídica | LGPD, proteção de dados, finalidade, necessidade, art. 20, art. 23, art. 46, ADI 6387, ADI 6649, Súmula 550 STJ. | Supõe que interesse público dispensa finalidade e minimização; ignora transparência e rastreabilidade. |
O vilão da aula
O PhD em Concursos vai tentar te derrubar com frase muito confiante e tecnicamente torta: "validação cruzada aumenta o conjunto de treinamento", "bag of words preserva contexto", "data lake é sempre dado tratado". Guarde: concurso difícil costuma cobrar a frase quase certa.
Prof. Affonsinho explica, Módulo 022 Dado, informação, conhecimento e inteligência
Dado é registro bruto: número, texto, imagem, áudio, log, evento, coordenada, clique, transação. Informação é dado processado e contextualizado. Conhecimento é informação interpretada, capaz de orientar decisão. Inteligência, em editais de governo, é a capacidade de usar conhecimento para ação estratégica, fiscalização, alocação de recursos ou formulação de política pública.
A escala clássica DIKW (Data, Information, Knowledge, Wisdom) aparece em Administração de Dados e Ciência da Informação. Em concursos, a banca gosta de perguntar se dado bruto já é conhecimento. Não é. Um CSV com milhões de linhas é só um depósito. Só vira informação quando há contexto, regra de negócio, qualidade mínima e finalidade.
Tipos de dados
- Estruturados: têm esquema rígido, campos definidos e tabulação. Exemplo: tabela relacional com CPF, data, valor e situação.
- Semiestruturados: têm marcação ou hierarquia flexível. Exemplo: JSON, XML, logs com chaves variáveis.
- Não estruturados: não seguem modelo tabular fixo. Exemplo: texto livre, imagem, áudio, vídeo, PDF digitalizado.
- Dados abertos: publicados em formato acessível, preferencialmente legível por máquina, com licença e documentação para reuso.
- Dados pessoais: identificam ou tornam identificável pessoa natural. A LGPD entra aqui.
Ciclo de vida
O ciclo cobrado em prova costuma vir assim: coleta, ingestão, armazenamento, tratamento, integração, análise, visualização, compartilhamento, arquivamento e descarte. Em órgão público, acrescente finalidade, base legal, segurança, auditoria e transparência.
Dica do Raffinha
Na prova, leia o verbo. Coletar não é tratar; armazenar não é integrar; publicar dado aberto não é jogar planilha sem dicionário num portal. Dicionário de dados, formato legível por máquina e licença importam.
Prof. Affonsinho explica, Módulo 022.1 Qualidade, metadados e DMBOK
O DAMA-DMBOK, referência clássica em gestão de dados, organiza a disciplina em áreas como governança, arquitetura, modelagem, armazenamento, segurança, integração, qualidade, metadados, data warehouse e business intelligence. Concurso não precisa cobrar a sigla com carinho; ele cobra a lógica: dado é ativo organizacional e precisa de dono, regra, catálogo, qualidade e controle.
| Dimensão | Significado | Pegadinha |
|---|---|---|
| Acurácia | O dado representa corretamente o fenômeno real. | Não é sinônimo de precisão de modelo; aqui é qualidade do dado. |
| Completude | Ausência de lacunas relevantes, campos obrigatórios preenchidos. | Dado completo pode estar errado. |
| Consistência | Não há conflito entre bases, tabelas ou regras. | CPF ativo em uma base e falecido em outra sinaliza inconsistência. |
| Atualidade | Dado está atualizado para a finalidade. | Base antiga pode ser útil para série histórica, mas ruim para decisão operacional. |
| Unicidade | Cada entidade aparece uma vez, sem duplicidade indevida. | Deduplicação não pode apagar identidades distintas com nomes parecidos. |
| Validade | Dado obedece domínio e formato esperados. | Data 31/02 é inválida; idade negativa também. |
Metadados são dados sobre dados: significado, origem, formato, unidade, proprietário, data de atualização, regra de negócio, sensibilidade, qualidade e linhagem. Linhagem de dados (data lineage) mostra de onde o dado veio, por quais transformações passou e onde foi usado. Para auditoria, isso vale ouro: sem linhagem, ninguém sabe se o painel confia em uma base oficial ou numa planilha remendada.
Bate-papo com o Seu Teoffilo
Governança de dados não é só comitê bonito. É decisão institucional: quem é dono do dado, quem pode alterar, qual padrão vale, como se mede qualidade, como se registra acesso, quando descarta e como prova conformidade. Em órgão público, isso conversa diretamente com LGPD, LAI, segurança da informação e controle interno.
Prof. Affonsinho explica, Módulo 033 Estatística que banca cobra
Ciência de Dados sem estatística vira painel com confiança demais e base de menos. Concurso normalmente cobra estatística descritiva, probabilidade, amostragem, inferência, regressão e interpretação de gráficos. Não precisa transformar a aula em tratado matemático, mas precisa saber o que cada medida responde.
| Tema | Essência | Cobrança típica |
|---|---|---|
| Média | Soma dos valores dividida pela quantidade. Sensível a outliers. | Base com renda extrema distorce média; mediana pode representar melhor. |
| Mediana | Valor central da distribuição ordenada. | Robusta a valores extremos. |
| Moda | Valor mais frequente. | Útil para variáveis categóricas. |
| Variância | Média dos desvios quadráticos em relação à média. | Unidade ao quadrado; desvio padrão volta à unidade original. |
| Desvio padrão | Raiz da variância. Mede dispersão. | Maior desvio = dados mais espalhados. |
| Assimetria e curtose | Forma da distribuição: cauda e concentração. | Ajuda em análise exploratória e detecção de comportamento estranho. |
Probabilidade e amostragem
Probabilidade mede incerteza. Amostragem escolhe parte da população para inferir algo sobre o todo. Em concurso, cuidado com viés de seleção: amostra grande e enviesada continua ruim. Muito dado não corrige coleta torta. Uma pesquisa com milhões de registros de uma única fonte pode representar mal a população, e esse ponto aparece em auditoria, políticas públicas e segurança.
Alerta do Examinador
Correlação não implica causalidade. Duas variáveis podem andar juntas por causa de variável omitida, tendência temporal, sazonalidade ou puro acaso. Modelo preditivo bom em correlação ainda pode ser péssimo para justificar política pública causal.
Prof. Affonsinho explica, Módulo 033.1 Hipótese, correlação e regressão
Teste de hipótese parte de uma hipótese nula (H0) e avalia se há evidência para rejeitá-la. O p-valor é a probabilidade de observar resultado tão extremo quanto o obtido, assumindo que H0 é verdadeira. Ele não mede a probabilidade de H0 ser verdadeira. Essa frase derruba muita gente porque parece detalhe, mas é o detalhe.
Erros de decisão
| Erro | O que acontece | Tradução de prova |
|---|---|---|
| Tipo I | Rejeita H0 quando H0 é verdadeira. | Falso positivo. O alarme dispara sem haver efeito real. |
| Tipo II | Não rejeita H0 quando H0 é falsa. | Falso negativo. O efeito existe, mas o teste não detecta. |
| Poder do teste | Probabilidade de rejeitar H0 quando ela é falsa. | 1 - beta. Relaciona-se ao erro tipo II. |
Regressão
Regressão linear estima uma variável dependente contínua a partir de uma ou mais variáveis explicativas. A reta ajustada minimiza, no método dos mínimos quadrados, a soma dos quadrados dos resíduos. Regressão logística, apesar do nome, é usada para classificação binária, estimando probabilidade via função logística.
- Coeficiente: efeito estimado de uma variável, mantendo as demais constantes.
- R²: proporção da variância explicada pelo modelo, com cuidado para não virar fetiche.
- Resíduo: diferença entre valor observado e valor previsto.
- Multicolinearidade: variáveis explicativas muito correlacionadas, dificultando interpretação.
Pegadinha da Dotôra Soffya
Regressão logística não é regressão para prever valor contínuo. Ela modela a probabilidade de classe, normalmente 0/1. Banca coloca "regressão logística é técnica de regressão para variável numérica contínua" e espera que você aceite pelo nome. Não aceite.
Prof. Affonsinho explica, Módulo 044 Banco relacional e SQL
O modelo relacional, associado a Edgar F. Codd, organiza dados em relações (tabelas), com linhas (tuplas) e colunas (atributos). Ele domina sistemas transacionais e também aparece em análise de dados porque SQL continua sendo linguagem central de extração, transformação e investigação.
Peças principais
- Tabela: conjunto de registros sobre uma entidade ou relacionamento.
- Chave primária: identifica unicamente cada linha.
- Chave estrangeira: referencia chave de outra tabela, garantindo integridade referencial.
- Índice: estrutura que acelera consulta, com custo de armazenamento e atualização.
- Visão (view): consulta armazenada, lógica ou materializada conforme o SGBD.
- Transação: unidade lógica de trabalho, com propriedades ACID.
| SQL | Exemplos | Função |
|---|---|---|
| DDL | CREATE, ALTER, DROP | Define estruturas. |
| DML | INSERT, UPDATE, DELETE | Manipula dados. |
| DQL | SELECT | Consulta dados. |
| DCL | GRANT, REVOKE | Controla permissões. |
| TCL | COMMIT, ROLLBACK, SAVEPOINT | Controla transações. |
GROUP BY agrega por grupos; HAVING filtra após agregação; WHERE filtra antes. JOIN combina tabelas: INNER retorna interseção; LEFT mantém todos da esquerda; RIGHT mantém todos da direita; FULL mantém de ambos. Em análise, funções de janela (window functions) permitem ranquear, somar acumulado e calcular média móvel sem colapsar linhas.
Prof. Affonsinho explica, Módulo 044.1 Normalização, NoSQL e escolha técnica
Normalização reduz redundância e anomalias em bancos relacionais. A 1FN elimina grupos repetidos; a 2FN trata dependência parcial em chave composta; a 3FN trata dependência transitiva. Em sistemas analíticos, porém, a busca por desempenho pode justificar desnormalização controlada, especialmente em modelo dimensional.
| NoSQL | Modelo | Bom para | Cuidado de prova |
|---|---|---|---|
| Chave-valor | Par chave -> valor | Cache, sessão, baixa latência. | Consulta flexível é limitada. |
| Documento | JSON/BSON com campos variáveis | Dados semiestruturados e APIs. | Não é "sem estrutura"; tem estrutura flexível. |
| Colunar | Famílias de colunas | Grandes volumes distribuídos. | Não confundir com banco colunar analítico tradicional. |
| Grafo | Nós e arestas | Relacionamentos complexos, redes, fraude. | Excelente para travessias, não para toda consulta. |
NoSQL surgiu para lidar com escala, flexibilidade de esquema e distribuição. A ideia central não é "substituir SQL"; é escolher o modelo coerente com acesso, volume, latência, consistência e evolução do dado. Em arquitetura distribuída, surge o debate CAP: diante de partição de rede, sistemas distribuídos precisam equilibrar consistência e disponibilidade.
Dica do Coach Jeff
Na hora da prova, pergunte: qual é o padrão de acesso? Se a questão fala em relacionamento profundo entre pessoas, empresas e operações suspeitas, grafo aparece forte. Se fala em JSON flexível de aplicação web, documento. Se fala em cache ultrarrápido, chave-valor.
Prof. Affonsinho explica, Módulo 055 Data warehouse e BI
Business Intelligence (BI) é o conjunto de processos, tecnologias e práticas para transformar dados em informação gerencial. Data warehouse (DW) é repositório analítico, integrado, orientado por assunto, variante no tempo e não volátil, formulação clássica de Bill Inmon. Já Ralph Kimball popularizou a abordagem dimensional por data marts integrados, com fatos e dimensões. As bancas adoram essa dupla.
| Autor | Visão | Como costuma cair |
|---|---|---|
| Bill Inmon | DW corporativo, top-down, integrado antes dos data marts. | Definição clássica: orientado a assunto, integrado, variante no tempo e não volátil. |
| Ralph Kimball | Data marts dimensionais integrados, bottom-up. | Modelo estrela, fatos, dimensões, medidas, granularidade. |
Fatos, dimensões e granularidade
- Tabela fato: registra evento mensurável. Exemplo: venda, pagamento, atendimento, fiscalização.
- Medida: número analisável. Valor, quantidade, tempo, pontuação.
- Dimensão: contexto da medida. Tempo, local, produto, órgão, contribuinte, canal.
- Granularidade: nível de detalhe do fato. Por item de nota, por nota, por dia, por mês.
OLAP permite análise multidimensional: slice, dice, drill-down, roll-up e pivot. Ele serve para consulta analítica, não para registrar transação diária. OLTP é operacional, transacional, normalizado; OLAP é analítico, histórico e orientado à consulta.
Alerta do Examinador
Se a assertiva disser que OLAP atualiza registros operacionais em tempo real ou que DW é altamente volátil, está errada. DW é voltado à análise histórica; volatilidade é traço de sistema transacional, não de repositório analítico clássico.
Prof. Affonsinho explica, Módulo 055.1 ETL/ELT, dashboards e ferramentas
ETL significa Extract, Transform, Load: extrai da origem, transforma em área intermediária e carrega no destino. ELT carrega primeiro e transforma depois, geralmente explorando poder computacional do destino, como data lakehouse ou warehouse em nuvem. A diferença não é estética; muda governança, custo, rastreabilidade e onde a regra de negócio é aplicada.
| Processo | Ordem | Contexto comum | Pegadinha |
|---|---|---|---|
| ETL | Extrai -> transforma -> carrega | DW tradicional, dados tratados antes do consumo. | Não é simples cópia; inclui limpeza, integração e regra. |
| ELT | Extrai -> carrega -> transforma | Nuvem, lakehouse, processamento escalável no destino. | Não dispensa governança; só muda o lugar da transformação. |
| CDC | Captura mudanças | Atualização incremental, menor carga. | Não é cópia completa da base a cada execução. |
BI e dashboards
Power BI, Tableau, Qlik Sense e Looker Studio aparecem em editais como ferramentas de visualização e análise exploratória. O candidato não precisa decorar cada botão, salvo edital explícito, mas precisa saber princípios: escolher gráfico adequado, evitar escala enganosa, preservar contexto, indicar fonte, destacar métrica principal, permitir filtros e manter rastreabilidade.
Data storytelling é a apresentação narrativa de evidências com dados. Não é enfeitar gráfico; é guiar a atenção para pergunta, método, achado, incerteza e consequência. Em prova, storytelling costuma aparecer com visualização, painéis, indicadores e comunicação de resultados.
Dica do Raffinha
Dashboard bom responde pergunta de negócio. Dashboard ruim só acumula gráfico. Em concurso, procure o triângulo: métrica correta, visual adequado, decisão apoiada.
Prof. Affonsinho explica, Módulo 066 Big Data: 5 Vs e arquitetura
Big Data não é sinônimo de "muitos dados" em planilha grande. É o conjunto de desafios e tecnologias para lidar com dados em escala, heterogeneidade e velocidade que excedem ferramentas tradicionais. A tríade inicial era volume, variedade e velocidade. Depois vieram veracidade e valor, formando os 5 Vs mais cobrados.
| V | Ideia | Exemplo |
|---|---|---|
| Volume | Quantidade massiva de dados. | Bilhões de eventos de log, transações e sensores. |
| Velocidade | Ritmo de geração, ingestão e processamento. | Streaming de fraude, telemetria, cliques em tempo quase real. |
| Variedade | Diferentes formatos e fontes. | SQL, JSON, texto, áudio, imagem, vídeo e geodados. |
| Veracidade | Confiabilidade e ruído. | Dados duplicados, inconsistentes, incompletos ou manipulados. |
| Valor | Capacidade de gerar decisão útil. | Detecção de fraude, auditoria, previsão de demanda. |
Hadoop
O ecossistema Hadoop popularizou processamento distribuído em clusters de máquinas comuns. Componentes clássicos: HDFS (sistema de arquivos distribuído), MapReduce (modelo de processamento em etapas map e reduce), YARN (gerenciamento de recursos) e ferramentas como Hive, Pig, HBase e Sqoop.
NameNode guarda metadados do HDFS; DataNodes armazenam blocos; Secondary NameNode faz checkpoints periódicos do namespace e ajuda a controlar os arquivos de edição, mas não é substituto automático de alta disponibilidade do NameNode.
Pegadinha da Dotôra Soffya
Secondary NameNode não é "backup quente" nem failover automático do NameNode. Ele consolida checkpoints. Se a assertiva prometer alta disponibilidade só por existir Secondary NameNode, pode riscar sem remorso.
Prof. Affonsinho explica, Módulo 066.1 Spark, data lake, lakehouse e data mesh
Apache Spark é motor de processamento distribuído em memória, com APIs para batch, streaming, SQL, MLlib e grafos. Ele não é apenas "Hadoop novo"; pode rodar sobre HDFS, S3, Kubernetes e outros ambientes. A banca costuma dizer que Spark processa exclusivamente em disco ou que MapReduce é sempre mais rápido para iteratividade. Cuidado.
| Arquitetura | Ideia | Quando aparece |
|---|---|---|
| Data lake | Armazena dados brutos ou pouco tratados em múltiplos formatos. | Exploração, dados semiestruturados, ciência de dados e reprocessamento. |
| Data warehouse | Dados integrados, curados, modelados para análise. | BI corporativo, indicadores, relatórios confiáveis. |
| Lakehouse | Combina flexibilidade do lake com controle transacional e governança do warehouse. | Nuvem, Delta/Iceberg/Hudi, pipelines modernos. |
| Data mesh | Dados como produto, domínios responsáveis, governança federada. | Organizações grandes, descentralização com padrão comum. |
Batch e streaming
Batch processa lotes periódicos: diário, horário, mensal. Streaming processa eventos contínuos ou micro-lotes: fraude, sensores, monitoramento, logs. Em prova, streaming não significa ausência de armazenamento; significa processamento orientado a fluxo e latência baixa.
Lambda architecture separa camada batch e camada speed; Kappa architecture simplifica com fluxo único de eventos. O edital pode não cobrar esses nomes, mas o raciocínio cai quando fala em reprocessamento histórico, baixa latência e consistência de resultados.
Bate-papo com o Seu Teoffilo
Data lake sem catálogo, qualidade, segurança e linhagem vira depósito escuro. A moda muda o nome, mas a responsabilidade não some: quem usa dado para decisão pública precisa provar origem, transformação, acesso e finalidade.
Prof. Affonsinho explica, Módulo 077 Mineração de dados, KDD e CRISP-DM
Data mining é descoberta de padrões úteis em grandes conjuntos de dados por estatística, aprendizado de máquina e inteligência artificial. Em sentido amplo, muita gente usa data mining como todo o processo. Em sentido técnico, especialmente em Fayyad, Piatetsky-Shapiro e Smyth (1996), a mineração é uma etapa dentro do KDD (Knowledge Discovery in Databases), processo completo de descoberta de conhecimento.
KDD
- Seleção: escolhe dados relevantes.
- Pré-processamento: limpa ruído, ausentes, inconsistências e duplicidades.
- Transformação: muda formato, escala, atributos e representação.
- Mineração: aplica algoritmos para encontrar padrões.
- Interpretação e avaliação: valida se o padrão é útil, compreensível e acionável.
CRISP-DM
O CRISP-DM é uma metodologia prática de projetos de mineração de dados. Suas fases são: entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação. É iterativo: você pode voltar fases quando descobre problema de dados ou de objetivo.
| Fase CRISP-DM | Pergunta central | Pegadinha |
|---|---|---|
| Negócio | Qual problema será resolvido? | Não começa pelo algoritmo. |
| Dados | Quais dados existem e o que significam? | Explorar antes de modelar. |
| Preparação | Como limpar, integrar e transformar? | Costuma consumir a maior parte do projeto. |
| Modelagem | Qual técnica aplicar? | Modelo não compensa objetivo mal definido. |
| Avaliação | O resultado atende ao negócio? | Métrica técnica boa pode não servir à decisão. |
| Implantação | Como colocar em uso? | Não é só entregar relatório. |
Prof. Affonsinho explica, Módulo 077.1 Classificação, regressão, clusterização, associação e anomalias
As tarefas de mineração aparecem em praticamente todo edital técnico. A prova, quase sempre, tenta misturar supervisionado e não supervisionado. Vamos deixar isso amarrado.
| Tarefa | Tipo | Exemplo | Algoritmos comuns |
|---|---|---|---|
| Classificação | Supervisionado | Fraude ou não fraude; aprovado ou reprovado. | Árvore, Random Forest, SVM, Naive Bayes, regressão logística. |
| Regressão | Supervisionado | Prever valor, demanda, tempo, arrecadação. | Linear, Ridge, Lasso, árvore, Gradient Boosting. |
| Clusterização | Não supervisionado | Segmentar contribuintes ou perfis de atendimento. | k-means, hierárquico, DBSCAN. |
| Associação | Não supervisionado | Itens que aparecem juntos em transações. | Apriori, FP-Growth. |
| Anomalia | Geralmente não supervisionado | Detectar evento raro, valor discrepante, comportamento suspeito. | Isolation Forest, LOF, regras estatísticas. |
Regras de associação
Em regras do tipo X -> Y, suporte mede frequência conjunta de X e Y no conjunto de dados; confiança mede, dado X, a chance de Y aparecer; lift compara a associação observada com a esperada por acaso. Lift maior que 1 indica associação positiva.
Anomalia, ruído e outlier
Outlier é valor distante do padrão. Pode ser erro, fraude, evento raro ou dado legítimo. Ruído é variação irrelevante ou erro que atrapalha o sinal. Em mineração, não se apaga outlier automaticamente. Primeiro se entende o fenômeno. Em auditoria, o outlier pode ser justamente o achado.
Alerta do Examinador
k-means é clusterização não supervisionada baseada em centroides. A banca pode dizer que ele exige rótulos prévios ou que descobre automaticamente o melhor número de grupos. Não exige rótulo; e o valor de k precisa ser definido ou escolhido por critério externo.
Prof. Affonsinho explica, Módulo 077.2 Preparação de dados e engenharia de atributos
Pré-processamento é onde projeto real ganha ou perde. Em prova Cebraspe, ele aparece como limpeza, tratamento de ausentes, outliers, normalização, padronização, discretização, codificação, integração, deduplicação e seleção de atributos. Não é perfumaria; é parte central do método.
| Técnica | O que faz | Quando usar |
|---|---|---|
| Imputação | Preenche ausentes com média, mediana, moda, modelo ou regra. | Quando ausente não pode ser descartado sem viés. |
| Normalização | Escala valores para intervalo, como 0 a 1. | Algoritmos sensíveis a distância, como k-NN e k-means. |
| Padronização | Transforma para média 0 e desvio padrão 1. | Modelos lineares, PCA, SVM, redes neurais. |
| One-hot encoding | Converte categoria em colunas binárias. | Variáveis categóricas nominais. |
| Discretização | Transforma contínuo em faixas. | Interpretação, regras, árvores ou exigência de negócio. |
| Seleção de atributos | Remove atributos irrelevantes ou redundantes. | Reduz ruído, custo e overfitting. |
Vazamento de dados
Data leakage ocorre quando informação indisponível no momento da previsão entra no treino ou na validação. Exemplo: prever inadimplência usando uma coluna preenchida depois da cobrança. O modelo fica lindo no laboratório e inútil no mundo real. Em concurso avançado, leakage aparece quando a preparação é feita antes de separar treino e teste.
Pegadinha da Dotôra Soffya
Normalizar a base inteira antes do split pode vazar informação do teste para o treino, porque média, mínimo, máximo ou desvio do conjunto de teste entram indiretamente no treinamento. O pipeline correto ajusta transformações no treino e aplica no teste.
Prof. Affonsinho explica, Módulo 088 Machine learning: famílias e modelos
Aprendizado de máquina é a construção de modelos capazes de aprender padrões a partir de dados, sem programação explícita de todas as regras. A doutrina técnica de Hastie, Tibshirani e Friedman, Christopher Bishop, Kevin Murphy e James, Witten, Hastie e Tibshirani organiza o tema em predição, inferência, regularização, validação e generalização.
| Tipo | Há rótulo? | Objetivo | Exemplos |
|---|---|---|---|
| Supervisionado | Sim | Aprender relação entrada -> saída. | Classificação, regressão. |
| Não supervisionado | Não | Descobrir estrutura, grupos ou padrões. | Clusterização, associação, PCA. |
| Semissupervisionado | Poucos rótulos | Usar muitos dados sem rótulo e poucos rotulados. | Classificação com rotulagem cara. |
| Reforço | Sinal de recompensa | Aprender ações por recompensa e penalidade. | Jogos, robótica, decisão sequencial. |
| Transferência | Depende | Adaptar conhecimento de uma tarefa ou domínio para outro. | Fine-tuning de modelos pré-treinados. |
Modelos supervisionados clássicos
- Regressão linear: prevê valor contínuo; interpretável; sensível a pressupostos.
- Regressão logística: classificação binária; retorna probabilidade.
- Árvore de decisão: regras hierárquicas; interpretável; tende a overfitting se não podada.
- Random Forest: conjunto de árvores com aleatoriedade; reduz variância.
- Gradient Boosting: árvores sequenciais corrigindo erros anteriores; alto desempenho, cuidado com ajuste fino.
- SVM: separa classes por hiperplano; kernels permitem fronteiras não lineares.
- Naive Bayes: probabilístico; assume independência condicional; forte em texto como baseline.
Prof. Affonsinho explica, Módulo 088.1 Métricas, matriz de confusão e validação
Modelo sem métrica correta é chute com planilha bonita. Para classificação binária, a base é a matriz de confusão: verdadeiro positivo (TP), falso positivo (FP), verdadeiro negativo (TN) e falso negativo (FN). A partir dela nascem as métricas mais cobradas.
| Métrica | Fórmula | Quando importa |
|---|---|---|
| Acurácia | (TP + TN) / total | Boa se classes equilibradas; enganosa em base desbalanceada. |
| Precisão | TP / (TP + FP) | Quando falso positivo custa caro. |
| Recall | TP / (TP + FN) | Quando falso negativo custa caro. |
| F1-score | Média harmônica de precisão e recall | Equilibra precisão e recall. |
| Especificidade | TN / (TN + FP) | Capacidade de reconhecer negativos. |
| AUC-ROC | Área sob curva ROC | Desempenho em diferentes limiares. |
Treino, validação e teste
Treino ajusta o modelo. Validação ajuda a escolher hiperparâmetros. Teste estima desempenho final em dados não vistos. Validação cruzada k-fold divide os dados em k partes; em cada rodada, treina em k-1 partes e valida na parte restante. A métrica final é agregada. Ela não "aumenta" artificialmente o conjunto de dados; ela avalia generalização de modo mais robusto.
Alerta do Examinador
Em base de fraude com 1% de casos positivos, um modelo que sempre diz "não fraude" tem 99% de acurácia e utilidade quase nula. A banca ama esse truque. Olhe precisão, recall, F1, matriz de confusão e custo do erro.
Prof. Affonsinho explica, Módulo 088.2 Overfitting, underfitting, viés e variância
Overfitting ocorre quando o modelo aprende ruído e particularidades do treino, com ótimo desempenho nos dados de treinamento e mau desempenho em dados novos. Underfitting ocorre quando o modelo é simples demais para capturar o padrão, tendo desempenho ruim até no treino. A tensão clássica é viés-variância: modelo muito rígido tem alto viés; modelo muito flexível tem alta variância.
| Técnica | Como ajuda | Exemplo |
|---|---|---|
| Regularização | Penaliza complexidade do modelo. | L1 (Lasso), L2 (Ridge), Elastic Net. |
| Validação cruzada | Avalia generalização em diferentes partições. | k-fold, stratified k-fold. |
| Poda | Reduz complexidade de árvore. | Limitar profundidade e folhas. |
| Dropout | Desativa neurônios durante treino. | Redes neurais profundas. |
| Aumento de dados | Cria variações legítimas de exemplos. | Imagem, áudio e texto com cautela. |
| Early stopping | Interrompe treino quando validação piora. | Redes neurais e boosting. |
PCA e redução de dimensionalidade
PCA (Principal Component Analysis) é técnica não supervisionada de redução de dimensionalidade. Ela cria componentes ortogonais que capturam máxima variância dos dados. Não é classificador, não exige rótulos e não "seleciona as melhores colunas" exatamente como seleção de atributos; ela cria novas combinações lineares das variáveis originais.
Pegadinha da Dotôra Soffya
PCA não é método supervisionado, não prevê classe e não escolhe variável-alvo. Se a questão disser que PCA usa rótulos para maximizar separação entre classes, está descrevendo outra família de técnica, não PCA clássico.
Prof. Affonsinho explica, Módulo 088.3 Clusterização, interpretabilidade e ética técnica
Modelos não supervisionados procuram estrutura sem rótulos prévios. k-means minimiza distância a centroides; DBSCAN identifica regiões densas e ruído; clusterização hierárquica cria árvore de agrupamentos. A avaliação pode usar medidas internas, como silhueta, ou validação externa quando há rótulo de referência.
Interpretabilidade
Concurso público gosta de mencionar "caixa-preta". Modelos como regressão linear e árvores simples são mais interpretáveis; redes profundas e ensembles complexos tendem a exigir métodos de explicação. Em uso público, interpretabilidade conversa com motivação do ato administrativo, transparência, auditoria, contestabilidade e LGPD.
| Conceito | Significado | Risco em setor público |
|---|---|---|
| Viés algorítmico | Resultado sistematicamente desfavorável a grupo ou perfil. | Discriminação direta ou indireta em fiscalização, crédito, benefício ou policiamento. |
| Explicabilidade | Capacidade de explicar fatores que influenciaram decisão. | Decisão opaca dificulta recurso e controle. |
| Robustez | Estabilidade diante de ruído, mudança e ataque. | Modelo frágil erra em população diferente da base de treino. |
| Monitoramento | Acompanhamento contínuo de desempenho. | Drift derruba modelo após mudança social, econômica ou normativa. |
Concept drift ocorre quando a relação entre variáveis muda ao longo do tempo. Data drift ocorre quando a distribuição dos dados de entrada muda. Em 2026, isso importa muito em modelos públicos porque legislação, comportamento social e fraude mudam rápido.
Bate-papo com o Seu Teoffilo
Modelo que afeta direito de pessoa não pode ser tratado como brinquedo estatístico. Ele precisa de finalidade legítima, base legal, qualidade de dados, monitoramento, revisão e registro. Técnica e direito andam juntos porque o erro técnico vira erro administrativo.
Prof. Affonsinho explica, Módulo 099 Deep learning, NLP e IA generativa
Deep learning é subcampo de machine learning baseado em redes neurais profundas, com múltiplas camadas capazes de aprender representações. A referência técnica clássica é Goodfellow, Bengio e Courville. Em prova, aparecem perceptron, função de ativação, backpropagation, gradiente descendente, redes convolucionais, redes recorrentes, transformers e embeddings.
| Arquitetura | Uso comum | Ponto de prova |
|---|---|---|
| CNN | Imagens e visão computacional. | Convoluções extraem padrões locais. |
| RNN/LSTM/GRU | Séries e sequências. | Memória temporal; hoje muitas tarefas migraram para transformers. |
| Transformer | Linguagem, visão, multimodal. | Atenção permite capturar dependências longas e paralelizar treino. |
| Autoencoder | Compressão, reconstrução, anomalia. | Aprende representação latente. |
| GAN | Geração de dados sintéticos. | Gerador e discriminador em competição. |
NLP
Processamento de linguagem natural, na linha de Jurafsky e Martin, trata texto e fala computacionalmente. Técnicas clássicas: tokenização, stemming, lematização, stopwords, n-gramas, TF-IDF e bag of words. Bag of words representa texto pela frequência de termos e, no modelo básico, ignora ordem e contexto. Se a assertiva disser que preserva contexto, errou bonito.
Embeddings representam palavras, frases ou documentos em vetores densos, aproximando itens semanticamente semelhantes. Eles são base para busca semântica, recomendação, classificação de texto e RAG.
Pegadinha da Dotôra Soffya
Bag of words não preserva ordem sintática nem contexto semântico. Ele transforma texto em contagem ou presença de termos. TF-IDF melhora ponderação, mas continua sem entender contexto como um transformer.
Prof. Affonsinho explica, Módulo 099.1 LLM, RAG, prompt, LLMOps e MLOps
LLM é grande modelo de linguagem treinado em grande escala para prever e gerar texto, código ou conteúdo multimodal. IA generativa é família mais ampla de modelos que geram novos dados: texto, imagem, áudio, vídeo, código. Em concursos de 2025 em diante, o tema passou a entrar junto de transformers, redes neurais, NLP, prompt, RAG e governança.
| Conceito | Significado | Risco ou limite |
|---|---|---|
| Prompt | Instrução dada ao modelo. | Prompt bom não substitui dado confiável nem validação. |
| RAG | Recuperação de documentos + geração de resposta. | Depende de base, chunking, embeddings, busca e citação correta. |
| Fine-tuning | Ajuste do modelo em dados específicos. | Não é igual a consultar base externa. |
| Alucinação | Resposta plausível, mas falsa ou sem base. | Crítico em decisão pública e material jurídico. |
| MLOps | Operação de modelos de ML em produção. | Inclui versionamento, monitoramento, drift, CI/CD e rollback. |
| LLMOps | Operação de soluções com LLM. | Inclui avaliação de prompts, guardrails, custo, segurança e rastreabilidade. |
RAG sem fantasia
RAG não torna o modelo infalível. Ele reduz alucinação ao recuperar trechos relevantes de uma base externa e dar contexto ao modelo. Ainda assim, pode errar por indexação ruim, documento desatualizado, chunk mal dividido, busca semântica fraca, instrução ambígua ou geração que não respeita a fonte.
Alerta do Examinador
Fine-tuning altera pesos do modelo; RAG consulta base externa no momento da resposta. São estratégias diferentes. Questão que chama RAG de treinamento adicional obrigatório está misturando conceitos.
Prof. Affonsinho explica, Módulo 1010 LGPD, Constituição e decisões automatizadas
Ciência de Dados em concurso público não termina no algoritmo. O uso de dados pelo Estado precisa respeitar a Constituição, a LGPD e a jurisprudência. A EC 115/2022 incluiu a proteção de dados pessoais no art. 5º, LXXIX, da Constituição, atribuiu à União organizar e fiscalizar a proteção e o tratamento de dados pessoais (art. 21, XXVI) e fixou competência privativa da União para legislar sobre proteção e tratamento de dados pessoais (art. 22, XXX).
Art. 6º: princípios como finalidade, adequação, necessidade, livre acesso, qualidade, transparência, segurança, prevenção, não discriminação e responsabilização.
Art. 7º: bases legais para dados pessoais.
Art. 11: hipóteses para dados sensíveis.
Art. 18: direitos do titular.
Art. 20: revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem interesses do titular.
Art. 23: tratamento pelo poder público para finalidade pública, interesse público e execução de competências legais.
Art. 46: segurança técnica e administrativa.
Art. 50: boas práticas e governança.
Danilo Doneda, Laura Schertel Mendes, Bruno Bioni e Stefano Rodotà ajudam a entender a proteção de dados como tutela da pessoa na sociedade informacional, não apenas sigilo de arquivo. O núcleo é autodeterminação informativa, controle, finalidade, transparência e prevenção de abuso.
Bate-papo com o Seu Teoffilo
Em órgão público, a pergunta não é "tenho dado?". A pergunta correta é: tenho competência legal, finalidade pública, necessidade, transparência, segurança, registro e proporcionalidade? Dado público não é dado sem dono; dado pessoal em base pública continua protegido.
Prof. Affonsinho explica, Módulo 1010.1 Precedentes que podem cair
Aqui eu vou ser cirúrgico. Ciência de Dados em concurso jurídico-administrativo costuma cruzar com proteção de dados, crédito, compartilhamento estatal, transparência e decisões automatizadas. Guarde os precedentes com número real.
| Precedente | Tese relevante para Ciência de Dados |
|---|---|
| STF, ADI 6387/DF | Suspendeu a MP 954/2020, que previa compartilhamento de dados de usuários de telefonia com o IBGE. A decisão destacou privacidade, autodeterminação informativa, finalidade, necessidade, proporcionalidade, segurança e delimitação do tratamento. |
| STF, ADI 6649/DF e ADPF 695/DF | Admitiu compartilhamento de dados pessoais entre órgãos e entidades da Administração Pública federal, desde que observados finalidade legítima, específica e explícita, adequação, necessidade, publicidade, segurança, registro de acesso e LGPD. |
| STJ, REsp 1.419.697/RS | Recurso repetitivo sobre credit scoring. Reconheceu licitude do método estatístico de avaliação de risco, com limites de privacidade, transparência, direito à informação e responsabilidade por abuso. |
| STJ, Súmula 550 | Credit scoring dispensa consentimento prévio por não constituir banco de dados, mas o consumidor tem direito a esclarecimentos sobre informações valoradas e fontes consideradas. |
Como a banca transforma isso em questão
- Interesse público não autoriza coleta ilimitada.
- Compartilhamento entre órgãos não dispensa finalidade, necessidade e publicidade.
- Decisão automatizada não fica imune a revisão, transparência e contestação.
- Modelo estatístico lícito não autoriza dado sensível, excessivo ou incorreto.
- Dados anonimizados podem sair da LGPD, mas anonimização precisa ser razoavelmente irreversível, considerando meios técnicos disponíveis.
Pegadinha da Dotôra Soffya
A Súmula 550 do STJ não diz que scoring pode fazer qualquer coisa. Ela dispensa consentimento prévio naquele método estatístico específico, mas mantém direito a esclarecimento, transparência e responsabilidade por dados abusivos, sensíveis, excessivos ou incorretos.
Mapa mental
Editais
- CPNU, BCB, PF, TCE, TJ, fiscal
- BI, DW, ML, Big Data, LGPD
- IA generativa e LLM em alta
Dados
- Estruturado, semiestruturado, não estruturado
- Metadados, linhagem, qualidade
- DMBOK e governança
Estatística
- Média, mediana, variância, desvio
- Amostragem, hipótese, p-valor
- Correlação não é causalidade
Banco e BI
- SQL, chaves, joins, índices
- Kimball, Inmon, DW, data mart
- ETL/ELT, OLAP, dashboards
Big Data
- 5 Vs, Hadoop, HDFS, Spark
- Batch, streaming, lake, lakehouse
- Data mesh e governança federada
Mineração
- KDD e CRISP-DM
- Classificação, regressão, cluster
- Associação, anomalia, NLP
ML
- Treino, validação, teste
- Matriz de confusão e métricas
- Overfitting, regularização, PCA
IA moderna
- Deep learning e transformers
- Embeddings, LLM, prompt, RAG
- MLOps, LLMOps, drift
LGPD
- EC 115/2022, art. 5º, LXXIX
- LGPD arts. 6º, 20, 23, 46, 50
- ADI 6387, ADI 6649, Súmula 550 STJ
Dica do Fuffu
Se faltar tempo, revise o mapa de trás para frente: LGPD e IA moderna são o tempero novo; ML e mineração são o miolo técnico; banco, BI e dados são a base que mais se repete.
Pontos que derrubam candidato bom
1. Dado não é informação. Informação exige contexto e processamento.
2. Dado estruturado não significa dado correto. Estrutura é esquema; qualidade é outra conversa.
3. Metadado descreve dado. Linhagem mostra origem e transformação.
4. ETL transforma antes de carregar; ELT transforma depois de carregar.
5. OLTP é transacional. OLAP é analítico.
6. Data lake não é necessariamente dado curado. DW é curado e modelado para análise.
7. Secondary NameNode não é failover automático do NameNode.
8. CRISP-DM começa por entendimento do negócio, não por modelagem.
9. Classificação e regressão são supervisionadas. Clusterização e associação não são.
10. k-means precisa de k. Ele não descobre sozinho o número perfeito de grupos.
11. Acurácia engana em base desbalanceada. Olhe recall, precisão, F1 e matriz.
12. Validação cruzada avalia generalização; não duplica dados magicamente.
13. PCA é não supervisionado e cria componentes; não é classificador.
14. Bag of words ignora ordem e contexto no modelo básico.
15. Fine-tuning altera pesos; RAG recupera contexto externo.
16. LGPD vale para o poder público. Interesse público não apaga necessidade, finalidade e segurança.
17. ADI 6387: finalidade vaga e ausência de garantias derrubam compartilhamento compulsório.
18. ADI 6649/ADPF 695: compartilhamento público é possível, mas condicionado.
19. Súmula 550 STJ: scoring é lícito sem consentimento prévio, com transparência e limites.
20. Modelo em produção precisa monitorar drift, qualidade, viés e desempenho.
Questão 01 · Comentada
Enunciado. Em projeto de Ciência de Dados para órgão público, a metodologia CRISP-DM estabelece fases iterativas. Assinale a alternativa que apresenta a ordem correta das fases.
- A) Preparação dos dados, implantação, modelagem, avaliação, entendimento dos dados e entendimento do negócio.
- B) Entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação.
- C) Modelagem, preparação dos dados, entendimento do negócio, implantação, avaliação e entendimento dos dados.
- D) Entendimento dos dados, modelagem, implantação, entendimento do negócio, avaliação e preparação dos dados.
- E) Implantação, avaliação, modelagem, preparação dos dados, entendimento dos dados e entendimento do negócio.
Gabarito: B
Prof. Affonsinho comenta
CRISP-DM começa pelo problema, não pelo algoritmo.
- A errada: preparação não vem antes de entender negócio e dados; implantação não abre o processo.
- B CORRETA: ordem canônica: negócio, dados, preparação, modelagem, avaliação, implantação.
- C errada: modelagem antes do entendimento do negócio é inversão típica de prova.
- D errada: entendimento dos dados depende do objetivo de negócio; implantação não vem antes da avaliação.
- E errada: apresenta a sequência praticamente invertida.
Tese central: CRISP-DM é iterativo, mas a sequência base é entendimento do negócio -> entendimento dos dados -> preparação dos dados -> modelagem -> avaliação -> implantação.
Questão 02 · Comentada
Enunciado. Em base de detecção de fraudes com classes desbalanceadas, um classificador apresenta acurácia de 99%, mas identifica apenas pequena parcela das fraudes. A conclusão tecnicamente mais adequada é:
- A) A acurácia elevada prova que o modelo é ótimo para a finalidade.
- B) A acurácia é irrelevante em qualquer problema de classificação.
- C) A avaliação deve considerar matriz de confusão, recall, precisão, F1 e custo dos erros, pois a acurácia pode ser enganosa em base desbalanceada.
- D) O problema deve ser convertido obrigatoriamente em regressão linear.
- E) A validação cruzada elimina todo risco de desbalanceamento.
Gabarito: C
Prof. Affonsinho comenta
Base desbalanceada exige olhar além da acurácia.
- A errada: modelo que sempre prevê a classe majoritária pode ter acurácia alta e utilidade baixa.
- B errada: acurácia pode ser útil em classes equilibradas; não é proibida.
- C CORRETA: a matriz de confusão revela TP, FP, TN e FN; recall mede fraudes capturadas; precisão mede alarmes corretos.
- D errada: fraude ou não fraude é problema típico de classificação, não regressão linear obrigatória.
- E errada: validação cruzada ajuda a estimar generalização, mas não elimina desbalanceamento por si só.
Tese central: Em base desbalanceada, acurácia pode enganar. Use matriz de confusão, precisão, recall, F1, AUC e custo do erro para avaliar o modelo.
Questão 03 · Comentada
Enunciado. Sobre data warehouse, OLAP e modelagem dimensional, assinale a alternativa correta.
- A) OLAP é voltado ao registro de transações operacionais em tempo real, enquanto OLTP é voltado à análise histórica.
- B) Tabela fato contém medidas e eventos de negócio, enquanto dimensões fornecem contexto analítico, como tempo, local, produto ou órgão.
- C) Data warehouse é, por definição clássica, altamente volátil e orientado à atualização transacional linha a linha.
- D) Modelo estrela elimina toda redundância por normalização até a terceira forma normal.
- E) Kimball e Inmon defendem exatamente a mesma abordagem top-down de data warehouse corporativo.
Gabarito: B
Prof. Affonsinho comenta
A questão cobra a separação entre analítico e operacional.
- A errada: inverte os conceitos: OLTP é transacional; OLAP é analítico.
- B CORRETA: fatos registram medidas e eventos; dimensões dão contexto para fatiar e analisar.
- C errada: DW clássico é não volátil, integrado, orientado por assunto e variante no tempo.
- D errada: modelo estrela usa dimensões frequentemente desnormalizadas para facilitar consulta.
- E errada: Inmon é associado a top-down corporativo; Kimball a data marts dimensionais integrados.
Tese central: DW é repositório analítico. OLTP registra transações; OLAP consulta e analisa. No modelo dimensional, fato mede evento e dimensão contextualiza a análise.
Questão 04 · Comentada
Enunciado. No Hadoop, o Secondary NameNode substitui automaticamente o NameNode em caso de falha, garantindo alta disponibilidade sem configuração adicional. (Certo / Errado)
Gabarito: Errado
Prof. Affonsinho comenta
Essa é uma pegadinha clássica de Big Data.
- Assertiva errada: Secondary NameNode faz checkpoints periódicos do namespace e ajuda a controlar arquivos de edição do HDFS.
- NameNode conceito: é o componente que mantém metadados do HDFS.
- Alta disponibilidade limite: exige arquitetura própria de alta disponibilidade; Secondary NameNode não é substituto automático por si só.
Tese central: Secondary NameNode não é backup quente nem failover automático do NameNode; sua função clássica é checkpoint do namespace.
Questão 05 · Comentada
Enunciado. A técnica bag of words, em processamento de linguagem natural, representa texto pela frequência ou presença de termos e preserva a ordem sintática e o contexto semântico das palavras. (Certo / Errado)
Gabarito: Errado
Prof. Affonsinho comenta
A primeira parte está perto; a segunda entrega o erro.
- BoW parcialmente correto: representa texto por presença ou frequência de termos.
- Ordem e contexto errado: o modelo básico ignora ordem das palavras e contexto semântico.
- TF-IDF cuidado: melhora ponderação dos termos, mas também não preserva contexto como embeddings ou transformers.
Tese central: Bag of words é representação esparsa por termos; não preserva ordem nem contexto no modelo básico.
Questão 06 · Comentada
Enunciado. Sobre PCA, assinale a alternativa correta.
- A) É classificador supervisionado que maximiza a separação entre classes rotuladas.
- B) É técnica não supervisionada de redução de dimensionalidade que cria componentes ortogonais, usualmente ordenados pela variância explicada.
- C) É método de imputação de valores ausentes por média.
- D) É técnica de associação que calcula suporte, confiança e lift.
- E) É algoritmo de clusterização baseado em centroides e exige a escolha prévia de k.
Gabarito: B
Prof. Affonsinho comenta
PCA é redução de dimensionalidade, não classificador.
- A errada: usa rótulo e separação de classes, o que não define PCA clássico.
- B CORRETA: componentes principais são combinações ortogonais que capturam variância.
- C errada: imputação é etapa de pré-processamento distinta.
- D errada: suporte, confiança e lift são de regras de associação.
- E errada: isso descreve k-means, não PCA.
Tese central: PCA é técnica não supervisionada de redução de dimensionalidade; cria componentes principais ordenados pela variância explicada.
Questão 07 · Comentada
Enunciado. Conforme a LGPD e a jurisprudência do STF, o compartilhamento de dados pessoais entre órgãos públicos é sempre livre quando houver interesse público genérico. (Certo / Errado)
Gabarito: Errado
Prof. Affonsinho comenta
Interesse público genérico não é cheque em branco.
- LGPD exige limites: finalidade, adequação, necessidade, transparência, segurança e responsabilização continuam aplicáveis.
- ADI 6387 referência: STF suspendeu compartilhamento compulsório por falta de delimitação adequada de finalidade, necessidade e garantias.
- ADI 6649/ADPF 695 referência: STF admitiu compartilhamento público, mas condicionado a critérios e salvaguardas.
Tese central: Compartilhamento público é possível, mas precisa de finalidade legítima, específica e explícita, adequação, necessidade, publicidade, segurança, registro e respeito à LGPD.
Questão 08 · Comentada
Enunciado. No contexto de regras de associação, a confiança de uma regra X -> Y mede a frequência conjunta de X e Y em todo o conjunto de transações. (Certo / Errado)
Gabarito: Errado
Prof. Affonsinho comenta
A assertiva trocou confiança por suporte.
- Suporte conceito correto: mede a frequência de X e Y juntos no conjunto de transações.
- Confiança conceito correto: mede a proporção de transações com X que também contêm Y.
- Lift complemento: compara a associação observada com a esperada por acaso.
Tese central: Suporte é frequência conjunta; confiança é probabilidade de Y dado X; lift indica força relativa da associação.
Questão 09 · Comentada
Enunciado. Sobre RAG e fine-tuning em grandes modelos de linguagem, assinale a alternativa correta.
- A) RAG consiste obrigatoriamente em re treinar os pesos do modelo com base documental do órgão.
- B) Fine-tuning é a recuperação de documentos externos no momento da pergunta, sem alteração do modelo.
- C) RAG combina recuperação de informações em base externa com geração de resposta pelo modelo, podendo reduzir alucinação quando a base e a recuperação são confiáveis.
- D) RAG elimina a necessidade de curadoria, segurança, versionamento e validação das respostas.
- E) LLMOps é apenas a escolha de prompt manual, sem monitoramento de custo, segurança ou qualidade.
Gabarito: C
Prof. Affonsinho comenta
RAG e fine-tuning são estratégias diferentes.
- A errada: isso descreve ajuste de pesos, não RAG.
- B errada: inverte os conceitos; fine-tuning altera o modelo.
- C CORRETA: RAG recupera contexto externo e o usa na geração.
- D errada: RAG exige ainda mais cuidado com base, indexação, citações e validação.
- E errada: LLMOps envolve operação, avaliação, custo, segurança, monitoramento e governança.
Tese central: Fine-tuning ajusta pesos; RAG recupera contexto externo para orientar a geração. RAG reduz riscos, mas não elimina validação e governança.
Questão 10 · Comentada
Enunciado. Segundo a Súmula 550 do STJ, o sistema de credit scoring é absolutamente livre de deveres de transparência, pois dispensa consentimento do consumidor. (Certo / Errado)
Gabarito: Errado
Prof. Affonsinho comenta
A súmula dispensa consentimento prévio, mas não apaga limites.
- Consentimento ponto correto: a súmula reconhece dispensa de consentimento prévio no método estatístico de avaliação de risco.
- Transparência ponto errado da assertiva: o consumidor mantém direito a esclarecimentos sobre informações pessoais valoradas e fontes dos dados.
- Responsabilidade limite: uso de informação sensível, excessiva, incorreta ou abusiva pode gerar responsabilidade.
Tese central: Súmula 550 STJ: credit scoring dispensa consentimento prévio, mas preserva direito a esclarecimento e limites de privacidade, transparência e correção.
Aula fechada
Você fechou o núcleo de Ciência de Dados para concursos.
Editais mapeados: CPNU, BCB, PF, TCE, TJ, Câmara e fiscal.
Dados, metadados, qualidade, linhagem e DMBOK.
Estatística descritiva, hipótese, correlação e regressão.
SQL, relacional, NoSQL, chaves, joins e normalização.
DW, BI, OLAP, ETL/ELT, Kimball e Inmon.
Big Data, Hadoop, HDFS, Spark, lake, lakehouse e data mesh.
KDD, CRISP-DM, associação, clusterização e anomalias.
ML supervisionado, não supervisionado, métricas e PCA.
Deep learning, NLP, embeddings, LLM, RAG e MLOps.
EC 115/2022, LGPD, ADI 6387, ADI 6649 e Súmula 550 STJ.
Aula 01 / 01 - Ciência de Dados - furafila







