f
furafila
ΣCiência de Dados

Ciência
de Dados

Aula completa para concursos públicos: edital real, dados e governança, estatística, SQL e NoSQL, data warehouse, BI, ETL/ELT, Big Data, KDD, CRISP-DM, aprendizado de máquina, deep learning, NLP, IA generativa, LLM, RAG, MLOps, visualização, LGPD e jurisprudência.

Aula01 / 01
DisciplinaCiência de Dados
AtualizadoAbr / 2026
Nesta aula

Sumário estratégico

Ciência de Dados virou matéria de edital grande. Não aparece mais só como curiosidade de TI: aparece em controle externo, fiscal, Banco Central, Polícia Federal, tribunais, Câmara dos Deputados e CPNU. A banca quer que você saiba o conceito, mas também quer que você perceba a pegadinha técnica: métrica errada, etapa trocada, algoritmo no grupo errado, LGPD ignorada.

  1. Raio-X dos editais
    O que mais cai e como priorizar o estudo
    p. 04
  2. Dados, ciclo de vida e governança
    Dado, informação, qualidade, DMBOK, metadados e linhagem
    p. 06
  3. Estatística aplicada
    Descritiva, probabilidade, amostragem, hipótese, correlação e regressão
    p. 08
  4. SQL, relacional e NoSQL
    Modelagem, chaves, normalização, consultas e bancos não relacionais
    p. 10
  5. DW, BI, OLAP e ETL
    Kimball, Inmon, estrela, floco, cubos e métricas
    p. 12
  6. Big Data e engenharia de dados
    5 Vs, Hadoop, Spark, lake, lakehouse, batch e streaming
    p. 14
  7. KDD, mineração e CRISP-DM
    Preparação, padrões, associação, classificação, clusterização e anomalias
    p. 16
  8. Machine learning
    Modelos, métricas, overfitting, validação cruzada, PCA e viés
    p. 19
  9. Deep learning, NLP, LLM e RAG
    Redes neurais, transformers, embeddings, prompt, RAG e MLOps
    p. 24
  10. LGPD, jurisprudência e revisão final
    EC 115/2022, LGPD, ADI 6387, ADI 6649, Súmula 550 STJ e questões
    p. 28
Antes de começar

O que você precisa sair sabendo

01
Ler edital sem se perder

Identificar temas recorrentes, palavras de banca e prioridade real de estudo.

02
Separar dado, informação e conhecimento

Dominar ciclo de vida, qualidade, metadados, linhagem, governança e DMBOK.

03
Resolver a estatística básica

Média, mediana, variância, desvio, probabilidade, amostragem, teste de hipótese, correlação e regressão.

04
Entender banco de dados

Modelo relacional, SQL, chaves, normalização, índices, visões e NoSQL.

05
Dominar BI e engenharia de dados

Data warehouse, data mart, ETL/ELT, OLAP, modelo dimensional, data lake, lakehouse e data mesh.

06
Aplicar KDD e CRISP-DM

Preparação, seleção, transformação, mineração, interpretação, implantação e avaliação.

07
Classificar modelos de ML

Supervisionado, não supervisionado, semissupervisionado, reforço, transferência, métricas e validação.

08
Fechar IA moderna e LGPD

Deep learning, NLP, LLM, RAG, MLOps, decisões automatizadas, proteção de dados e jurisprudência.

Dica do Fuffu

Se o edital trouxer análise de dados, estude Ciência de Dados como um bloco integrado: dados + estatística + banco + engenharia + mineração + ML + governança. A banca adora trocar o nome da disciplina para parecer novidade, mas o núcleo técnico se repete.

Prof. Affonsinho explica, Módulo 01

1 O que mais cai em concursos

Eu mapeei editais e provas recentes de bancas grandes, com foco em CPNU/FGV, Cebraspe e concursos de alto valor para controle, fiscal, tecnologia, segurança e tribunais. O resultado é menos misterioso do que parece: as bancas cobram Ciência de Dados em camadas. Primeiro, perguntam se você entende dado e banco. Depois, se domina DW/BI/ETL. Em seguida, entram mineração e aprendizado de máquina. Nos editais mais novos, aparecem IA generativa, LLM, RAG e governança de dados.

Fonte recenteTemas que apareceramPrioridade
CPNU/FGV 2025 - Bloco 3Ciências, dados e tecnologia; produção, sistematização, interpretação e aplicação de dados; BI, mineração, aprendizado de máquina, big data e ferramentas.Altíssima
BCB/Cebraspe 2024ML, deep learning, NLP, validação cruzada, overfitting, Hadoop, qualidade de dados e tipos de aprendizado.Altíssima
TCE-MG/Cebraspe 2025Dado, informação, abertos, relacional, modelagem dimensional, CRISP-DM, classificação, associação, clusterização, anomalias, Big Data, Power BI, Tableau, SQL, Python e R.Altíssima
PF/Cebraspe 2025Dados, Data Warehouse, Data Mart, Data Lake, Data Mesh, metadados, BI, mineração, ML, IA, Big Data, Python, API e ETL/ELT.Alta
TJ-PA/Cebraspe 2025Business Intelligence, Data Warehouse, Data Mart, Data Mining, Data Lake, Data Mesh, ETL, ODI, ML, deep learning, NLP, qualidade, LLM, IA generativa e redes neurais.Altíssima
Câmara/Cebraspe 2025Big Data, estruturados e não estruturados, ETL, mineração, pré-processamento, estatística, probabilidade, normalização, outliers, visualização e storytelling.Alta
SEFAZ/Cebraspe 2025Análise de dados, banco relacional, metadados, modelagem dimensional, CRISP-DM, mineração, Big Data, visualização, planilhas, SQL e estatística.Alta

Alerta do Examinador

Quando a banca escreve análise de dados, não leia como sinônimo estreito de gráfico. Em edital, isso costuma puxar banco de dados, ETL, qualidade, visualização, estatística, mineração e ML. O nome é manso; o conteúdo vem com coturno.

Prof. Affonsinho explica, Módulo 01

1.1 Ordem inteligente de estudo

Se você tentar estudar Ciência de Dados como uma prateleira de palavras modernas, vira sopa de sigla. A ordem boa é outra: comece pelo que o dado é, passe pelo modo como ele é guardado, aprenda como ele entra no pipeline, entenda como vira análise, e só então vá para modelos. O edital não está pedindo magia. Está pedindo encadeamento técnico.

CamadaO que caiComo a banca costuma distorcer
FundamentosDado, informação, conhecimento, tipos de dado, ciclo de vida, qualidade e governança.Confunde qualidade com segurança; confunde dado estruturado com dado limpo; chama metadado de dado operacional.
Banco e BIRelacional, SQL, DW, data mart, OLAP, ETL/ELT, modelo estrela, dashboards.Diz que OLAP atualiza transação operacional; troca fato por dimensão; trata ETL como simples cópia.
Big Data5 Vs, Hadoop, HDFS, MapReduce, Spark, NoSQL, lake, lakehouse, streaming.Fala que Hadoop é banco relacional; diz que Spark só processa em disco; usa data lake como DW curado.
MineraçãoKDD, CRISP-DM, pré-processamento, classificação, regressão, clusterização, associação, anomalia.Troca etapas; mistura tarefa supervisionada com não supervisionada; esquece a preparação.
ML e IATreino/teste, validação cruzada, métricas, overfitting, regularização, PCA, deep learning, NLP, LLM.Usa acurácia em base desbalanceada; chama PCA de classificador; diz que BoW preserva ordem.
Governança jurídicaLGPD, proteção de dados, finalidade, necessidade, art. 20, art. 23, art. 46, ADI 6387, ADI 6649, Súmula 550 STJ.Supõe que interesse público dispensa finalidade e minimização; ignora transparência e rastreabilidade.

O vilão da aula

O PhD em Concursos vai tentar te derrubar com frase muito confiante e tecnicamente torta: "validação cruzada aumenta o conjunto de treinamento", "bag of words preserva contexto", "data lake é sempre dado tratado". Guarde: concurso difícil costuma cobrar a frase quase certa.

Prof. Affonsinho explica, Módulo 02

2 Dado, informação, conhecimento e inteligência

Dado é registro bruto: número, texto, imagem, áudio, log, evento, coordenada, clique, transação. Informação é dado processado e contextualizado. Conhecimento é informação interpretada, capaz de orientar decisão. Inteligência, em editais de governo, é a capacidade de usar conhecimento para ação estratégica, fiscalização, alocação de recursos ou formulação de política pública.

A escala clássica DIKW (Data, Information, Knowledge, Wisdom) aparece em Administração de Dados e Ciência da Informação. Em concursos, a banca gosta de perguntar se dado bruto já é conhecimento. Não é. Um CSV com milhões de linhas é só um depósito. Só vira informação quando há contexto, regra de negócio, qualidade mínima e finalidade.

Tipos de dados

  • Estruturados: têm esquema rígido, campos definidos e tabulação. Exemplo: tabela relacional com CPF, data, valor e situação.
  • Semiestruturados: têm marcação ou hierarquia flexível. Exemplo: JSON, XML, logs com chaves variáveis.
  • Não estruturados: não seguem modelo tabular fixo. Exemplo: texto livre, imagem, áudio, vídeo, PDF digitalizado.
  • Dados abertos: publicados em formato acessível, preferencialmente legível por máquina, com licença e documentação para reuso.
  • Dados pessoais: identificam ou tornam identificável pessoa natural. A LGPD entra aqui.

Ciclo de vida

O ciclo cobrado em prova costuma vir assim: coleta, ingestão, armazenamento, tratamento, integração, análise, visualização, compartilhamento, arquivamento e descarte. Em órgão público, acrescente finalidade, base legal, segurança, auditoria e transparência.

Dica do Raffinha

Na prova, leia o verbo. Coletar não é tratar; armazenar não é integrar; publicar dado aberto não é jogar planilha sem dicionário num portal. Dicionário de dados, formato legível por máquina e licença importam.

Prof. Affonsinho explica, Módulo 02

2.1 Qualidade, metadados e DMBOK

O DAMA-DMBOK, referência clássica em gestão de dados, organiza a disciplina em áreas como governança, arquitetura, modelagem, armazenamento, segurança, integração, qualidade, metadados, data warehouse e business intelligence. Concurso não precisa cobrar a sigla com carinho; ele cobra a lógica: dado é ativo organizacional e precisa de dono, regra, catálogo, qualidade e controle.

DimensãoSignificadoPegadinha
AcuráciaO dado representa corretamente o fenômeno real.Não é sinônimo de precisão de modelo; aqui é qualidade do dado.
CompletudeAusência de lacunas relevantes, campos obrigatórios preenchidos.Dado completo pode estar errado.
ConsistênciaNão há conflito entre bases, tabelas ou regras.CPF ativo em uma base e falecido em outra sinaliza inconsistência.
AtualidadeDado está atualizado para a finalidade.Base antiga pode ser útil para série histórica, mas ruim para decisão operacional.
UnicidadeCada entidade aparece uma vez, sem duplicidade indevida.Deduplicação não pode apagar identidades distintas com nomes parecidos.
ValidadeDado obedece domínio e formato esperados.Data 31/02 é inválida; idade negativa também.

Metadados são dados sobre dados: significado, origem, formato, unidade, proprietário, data de atualização, regra de negócio, sensibilidade, qualidade e linhagem. Linhagem de dados (data lineage) mostra de onde o dado veio, por quais transformações passou e onde foi usado. Para auditoria, isso vale ouro: sem linhagem, ninguém sabe se o painel confia em uma base oficial ou numa planilha remendada.

Bate-papo com o Seu Teoffilo

Governança de dados não é só comitê bonito. É decisão institucional: quem é dono do dado, quem pode alterar, qual padrão vale, como se mede qualidade, como se registra acesso, quando descarta e como prova conformidade. Em órgão público, isso conversa diretamente com LGPD, LAI, segurança da informação e controle interno.

Prof. Affonsinho explica, Módulo 03

3 Estatística que banca cobra

Ciência de Dados sem estatística vira painel com confiança demais e base de menos. Concurso normalmente cobra estatística descritiva, probabilidade, amostragem, inferência, regressão e interpretação de gráficos. Não precisa transformar a aula em tratado matemático, mas precisa saber o que cada medida responde.

TemaEssênciaCobrança típica
MédiaSoma dos valores dividida pela quantidade. Sensível a outliers.Base com renda extrema distorce média; mediana pode representar melhor.
MedianaValor central da distribuição ordenada.Robusta a valores extremos.
ModaValor mais frequente.Útil para variáveis categóricas.
VariânciaMédia dos desvios quadráticos em relação à média.Unidade ao quadrado; desvio padrão volta à unidade original.
Desvio padrãoRaiz da variância. Mede dispersão.Maior desvio = dados mais espalhados.
Assimetria e curtoseForma da distribuição: cauda e concentração.Ajuda em análise exploratória e detecção de comportamento estranho.

Probabilidade e amostragem

Probabilidade mede incerteza. Amostragem escolhe parte da população para inferir algo sobre o todo. Em concurso, cuidado com viés de seleção: amostra grande e enviesada continua ruim. Muito dado não corrige coleta torta. Uma pesquisa com milhões de registros de uma única fonte pode representar mal a população, e esse ponto aparece em auditoria, políticas públicas e segurança.

Alerta do Examinador

Correlação não implica causalidade. Duas variáveis podem andar juntas por causa de variável omitida, tendência temporal, sazonalidade ou puro acaso. Modelo preditivo bom em correlação ainda pode ser péssimo para justificar política pública causal.

Prof. Affonsinho explica, Módulo 03

3.1 Hipótese, correlação e regressão

Teste de hipótese parte de uma hipótese nula (H0) e avalia se há evidência para rejeitá-la. O p-valor é a probabilidade de observar resultado tão extremo quanto o obtido, assumindo que H0 é verdadeira. Ele não mede a probabilidade de H0 ser verdadeira. Essa frase derruba muita gente porque parece detalhe, mas é o detalhe.

Erros de decisão

ErroO que aconteceTradução de prova
Tipo IRejeita H0 quando H0 é verdadeira.Falso positivo. O alarme dispara sem haver efeito real.
Tipo IINão rejeita H0 quando H0 é falsa.Falso negativo. O efeito existe, mas o teste não detecta.
Poder do testeProbabilidade de rejeitar H0 quando ela é falsa.1 - beta. Relaciona-se ao erro tipo II.

Regressão

Regressão linear estima uma variável dependente contínua a partir de uma ou mais variáveis explicativas. A reta ajustada minimiza, no método dos mínimos quadrados, a soma dos quadrados dos resíduos. Regressão logística, apesar do nome, é usada para classificação binária, estimando probabilidade via função logística.

  • Coeficiente: efeito estimado de uma variável, mantendo as demais constantes.
  • : proporção da variância explicada pelo modelo, com cuidado para não virar fetiche.
  • Resíduo: diferença entre valor observado e valor previsto.
  • Multicolinearidade: variáveis explicativas muito correlacionadas, dificultando interpretação.

Pegadinha da Dotôra Soffya

Regressão logística não é regressão para prever valor contínuo. Ela modela a probabilidade de classe, normalmente 0/1. Banca coloca "regressão logística é técnica de regressão para variável numérica contínua" e espera que você aceite pelo nome. Não aceite.

Prof. Affonsinho explica, Módulo 04

4 Banco relacional e SQL

O modelo relacional, associado a Edgar F. Codd, organiza dados em relações (tabelas), com linhas (tuplas) e colunas (atributos). Ele domina sistemas transacionais e também aparece em análise de dados porque SQL continua sendo linguagem central de extração, transformação e investigação.

Peças principais

  • Tabela: conjunto de registros sobre uma entidade ou relacionamento.
  • Chave primária: identifica unicamente cada linha.
  • Chave estrangeira: referencia chave de outra tabela, garantindo integridade referencial.
  • Índice: estrutura que acelera consulta, com custo de armazenamento e atualização.
  • Visão (view): consulta armazenada, lógica ou materializada conforme o SGBD.
  • Transação: unidade lógica de trabalho, com propriedades ACID.
SQLExemplosFunção
DDLCREATE, ALTER, DROPDefine estruturas.
DMLINSERT, UPDATE, DELETEManipula dados.
DQLSELECTConsulta dados.
DCLGRANT, REVOKEControla permissões.
TCLCOMMIT, ROLLBACK, SAVEPOINTControla transações.

GROUP BY agrega por grupos; HAVING filtra após agregação; WHERE filtra antes. JOIN combina tabelas: INNER retorna interseção; LEFT mantém todos da esquerda; RIGHT mantém todos da direita; FULL mantém de ambos. Em análise, funções de janela (window functions) permitem ranquear, somar acumulado e calcular média móvel sem colapsar linhas.

Prof. Affonsinho explica, Módulo 04

4.1 Normalização, NoSQL e escolha técnica

Normalização reduz redundância e anomalias em bancos relacionais. A 1FN elimina grupos repetidos; a 2FN trata dependência parcial em chave composta; a 3FN trata dependência transitiva. Em sistemas analíticos, porém, a busca por desempenho pode justificar desnormalização controlada, especialmente em modelo dimensional.

NoSQLModeloBom paraCuidado de prova
Chave-valorPar chave -> valorCache, sessão, baixa latência.Consulta flexível é limitada.
DocumentoJSON/BSON com campos variáveisDados semiestruturados e APIs.Não é "sem estrutura"; tem estrutura flexível.
ColunarFamílias de colunasGrandes volumes distribuídos.Não confundir com banco colunar analítico tradicional.
GrafoNós e arestasRelacionamentos complexos, redes, fraude.Excelente para travessias, não para toda consulta.

NoSQL surgiu para lidar com escala, flexibilidade de esquema e distribuição. A ideia central não é "substituir SQL"; é escolher o modelo coerente com acesso, volume, latência, consistência e evolução do dado. Em arquitetura distribuída, surge o debate CAP: diante de partição de rede, sistemas distribuídos precisam equilibrar consistência e disponibilidade.

Dica do Coach Jeff

Na hora da prova, pergunte: qual é o padrão de acesso? Se a questão fala em relacionamento profundo entre pessoas, empresas e operações suspeitas, grafo aparece forte. Se fala em JSON flexível de aplicação web, documento. Se fala em cache ultrarrápido, chave-valor.

Prof. Affonsinho explica, Módulo 05

5 Data warehouse e BI

Business Intelligence (BI) é o conjunto de processos, tecnologias e práticas para transformar dados em informação gerencial. Data warehouse (DW) é repositório analítico, integrado, orientado por assunto, variante no tempo e não volátil, formulação clássica de Bill Inmon. Já Ralph Kimball popularizou a abordagem dimensional por data marts integrados, com fatos e dimensões. As bancas adoram essa dupla.

AutorVisãoComo costuma cair
Bill InmonDW corporativo, top-down, integrado antes dos data marts.Definição clássica: orientado a assunto, integrado, variante no tempo e não volátil.
Ralph KimballData marts dimensionais integrados, bottom-up.Modelo estrela, fatos, dimensões, medidas, granularidade.

Fatos, dimensões e granularidade

  • Tabela fato: registra evento mensurável. Exemplo: venda, pagamento, atendimento, fiscalização.
  • Medida: número analisável. Valor, quantidade, tempo, pontuação.
  • Dimensão: contexto da medida. Tempo, local, produto, órgão, contribuinte, canal.
  • Granularidade: nível de detalhe do fato. Por item de nota, por nota, por dia, por mês.

OLAP permite análise multidimensional: slice, dice, drill-down, roll-up e pivot. Ele serve para consulta analítica, não para registrar transação diária. OLTP é operacional, transacional, normalizado; OLAP é analítico, histórico e orientado à consulta.

Alerta do Examinador

Se a assertiva disser que OLAP atualiza registros operacionais em tempo real ou que DW é altamente volátil, está errada. DW é voltado à análise histórica; volatilidade é traço de sistema transacional, não de repositório analítico clássico.

Prof. Affonsinho explica, Módulo 05

5.1 ETL/ELT, dashboards e ferramentas

ETL significa Extract, Transform, Load: extrai da origem, transforma em área intermediária e carrega no destino. ELT carrega primeiro e transforma depois, geralmente explorando poder computacional do destino, como data lakehouse ou warehouse em nuvem. A diferença não é estética; muda governança, custo, rastreabilidade e onde a regra de negócio é aplicada.

ProcessoOrdemContexto comumPegadinha
ETLExtrai -> transforma -> carregaDW tradicional, dados tratados antes do consumo.Não é simples cópia; inclui limpeza, integração e regra.
ELTExtrai -> carrega -> transformaNuvem, lakehouse, processamento escalável no destino.Não dispensa governança; só muda o lugar da transformação.
CDCCaptura mudançasAtualização incremental, menor carga.Não é cópia completa da base a cada execução.

BI e dashboards

Power BI, Tableau, Qlik Sense e Looker Studio aparecem em editais como ferramentas de visualização e análise exploratória. O candidato não precisa decorar cada botão, salvo edital explícito, mas precisa saber princípios: escolher gráfico adequado, evitar escala enganosa, preservar contexto, indicar fonte, destacar métrica principal, permitir filtros e manter rastreabilidade.

Data storytelling é a apresentação narrativa de evidências com dados. Não é enfeitar gráfico; é guiar a atenção para pergunta, método, achado, incerteza e consequência. Em prova, storytelling costuma aparecer com visualização, painéis, indicadores e comunicação de resultados.

Dica do Raffinha

Dashboard bom responde pergunta de negócio. Dashboard ruim só acumula gráfico. Em concurso, procure o triângulo: métrica correta, visual adequado, decisão apoiada.

Prof. Affonsinho explica, Módulo 06

6 Big Data: 5 Vs e arquitetura

Big Data não é sinônimo de "muitos dados" em planilha grande. É o conjunto de desafios e tecnologias para lidar com dados em escala, heterogeneidade e velocidade que excedem ferramentas tradicionais. A tríade inicial era volume, variedade e velocidade. Depois vieram veracidade e valor, formando os 5 Vs mais cobrados.

VIdeiaExemplo
VolumeQuantidade massiva de dados.Bilhões de eventos de log, transações e sensores.
VelocidadeRitmo de geração, ingestão e processamento.Streaming de fraude, telemetria, cliques em tempo quase real.
VariedadeDiferentes formatos e fontes.SQL, JSON, texto, áudio, imagem, vídeo e geodados.
VeracidadeConfiabilidade e ruído.Dados duplicados, inconsistentes, incompletos ou manipulados.
ValorCapacidade de gerar decisão útil.Detecção de fraude, auditoria, previsão de demanda.

Hadoop

O ecossistema Hadoop popularizou processamento distribuído em clusters de máquinas comuns. Componentes clássicos: HDFS (sistema de arquivos distribuído), MapReduce (modelo de processamento em etapas map e reduce), YARN (gerenciamento de recursos) e ferramentas como Hive, Pig, HBase e Sqoop.

NameNode guarda metadados do HDFS; DataNodes armazenam blocos; Secondary NameNode faz checkpoints periódicos do namespace e ajuda a controlar os arquivos de edição, mas não é substituto automático de alta disponibilidade do NameNode.

Pegadinha da Dotôra Soffya

Secondary NameNode não é "backup quente" nem failover automático do NameNode. Ele consolida checkpoints. Se a assertiva prometer alta disponibilidade só por existir Secondary NameNode, pode riscar sem remorso.

Prof. Affonsinho explica, Módulo 06

6.1 Spark, data lake, lakehouse e data mesh

Apache Spark é motor de processamento distribuído em memória, com APIs para batch, streaming, SQL, MLlib e grafos. Ele não é apenas "Hadoop novo"; pode rodar sobre HDFS, S3, Kubernetes e outros ambientes. A banca costuma dizer que Spark processa exclusivamente em disco ou que MapReduce é sempre mais rápido para iteratividade. Cuidado.

ArquiteturaIdeiaQuando aparece
Data lakeArmazena dados brutos ou pouco tratados em múltiplos formatos.Exploração, dados semiestruturados, ciência de dados e reprocessamento.
Data warehouseDados integrados, curados, modelados para análise.BI corporativo, indicadores, relatórios confiáveis.
LakehouseCombina flexibilidade do lake com controle transacional e governança do warehouse.Nuvem, Delta/Iceberg/Hudi, pipelines modernos.
Data meshDados como produto, domínios responsáveis, governança federada.Organizações grandes, descentralização com padrão comum.

Batch e streaming

Batch processa lotes periódicos: diário, horário, mensal. Streaming processa eventos contínuos ou micro-lotes: fraude, sensores, monitoramento, logs. Em prova, streaming não significa ausência de armazenamento; significa processamento orientado a fluxo e latência baixa.

Lambda architecture separa camada batch e camada speed; Kappa architecture simplifica com fluxo único de eventos. O edital pode não cobrar esses nomes, mas o raciocínio cai quando fala em reprocessamento histórico, baixa latência e consistência de resultados.

Bate-papo com o Seu Teoffilo

Data lake sem catálogo, qualidade, segurança e linhagem vira depósito escuro. A moda muda o nome, mas a responsabilidade não some: quem usa dado para decisão pública precisa provar origem, transformação, acesso e finalidade.

Prof. Affonsinho explica, Módulo 07

7 Mineração de dados, KDD e CRISP-DM

Data mining é descoberta de padrões úteis em grandes conjuntos de dados por estatística, aprendizado de máquina e inteligência artificial. Em sentido amplo, muita gente usa data mining como todo o processo. Em sentido técnico, especialmente em Fayyad, Piatetsky-Shapiro e Smyth (1996), a mineração é uma etapa dentro do KDD (Knowledge Discovery in Databases), processo completo de descoberta de conhecimento.

KDD

  1. Seleção: escolhe dados relevantes.
  2. Pré-processamento: limpa ruído, ausentes, inconsistências e duplicidades.
  3. Transformação: muda formato, escala, atributos e representação.
  4. Mineração: aplica algoritmos para encontrar padrões.
  5. Interpretação e avaliação: valida se o padrão é útil, compreensível e acionável.

CRISP-DM

O CRISP-DM é uma metodologia prática de projetos de mineração de dados. Suas fases são: entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação. É iterativo: você pode voltar fases quando descobre problema de dados ou de objetivo.

Fase CRISP-DMPergunta centralPegadinha
NegócioQual problema será resolvido?Não começa pelo algoritmo.
DadosQuais dados existem e o que significam?Explorar antes de modelar.
PreparaçãoComo limpar, integrar e transformar?Costuma consumir a maior parte do projeto.
ModelagemQual técnica aplicar?Modelo não compensa objetivo mal definido.
AvaliaçãoO resultado atende ao negócio?Métrica técnica boa pode não servir à decisão.
ImplantaçãoComo colocar em uso?Não é só entregar relatório.
Prof. Affonsinho explica, Módulo 07

7.1 Classificação, regressão, clusterização, associação e anomalias

As tarefas de mineração aparecem em praticamente todo edital técnico. A prova, quase sempre, tenta misturar supervisionado e não supervisionado. Vamos deixar isso amarrado.

TarefaTipoExemploAlgoritmos comuns
ClassificaçãoSupervisionadoFraude ou não fraude; aprovado ou reprovado.Árvore, Random Forest, SVM, Naive Bayes, regressão logística.
RegressãoSupervisionadoPrever valor, demanda, tempo, arrecadação.Linear, Ridge, Lasso, árvore, Gradient Boosting.
ClusterizaçãoNão supervisionadoSegmentar contribuintes ou perfis de atendimento.k-means, hierárquico, DBSCAN.
AssociaçãoNão supervisionadoItens que aparecem juntos em transações.Apriori, FP-Growth.
AnomaliaGeralmente não supervisionadoDetectar evento raro, valor discrepante, comportamento suspeito.Isolation Forest, LOF, regras estatísticas.

Regras de associação

Em regras do tipo X -> Y, suporte mede frequência conjunta de X e Y no conjunto de dados; confiança mede, dado X, a chance de Y aparecer; lift compara a associação observada com a esperada por acaso. Lift maior que 1 indica associação positiva.

Anomalia, ruído e outlier

Outlier é valor distante do padrão. Pode ser erro, fraude, evento raro ou dado legítimo. Ruído é variação irrelevante ou erro que atrapalha o sinal. Em mineração, não se apaga outlier automaticamente. Primeiro se entende o fenômeno. Em auditoria, o outlier pode ser justamente o achado.

Alerta do Examinador

k-means é clusterização não supervisionada baseada em centroides. A banca pode dizer que ele exige rótulos prévios ou que descobre automaticamente o melhor número de grupos. Não exige rótulo; e o valor de k precisa ser definido ou escolhido por critério externo.

Prof. Affonsinho explica, Módulo 07

7.2 Preparação de dados e engenharia de atributos

Pré-processamento é onde projeto real ganha ou perde. Em prova Cebraspe, ele aparece como limpeza, tratamento de ausentes, outliers, normalização, padronização, discretização, codificação, integração, deduplicação e seleção de atributos. Não é perfumaria; é parte central do método.

TécnicaO que fazQuando usar
ImputaçãoPreenche ausentes com média, mediana, moda, modelo ou regra.Quando ausente não pode ser descartado sem viés.
NormalizaçãoEscala valores para intervalo, como 0 a 1.Algoritmos sensíveis a distância, como k-NN e k-means.
PadronizaçãoTransforma para média 0 e desvio padrão 1.Modelos lineares, PCA, SVM, redes neurais.
One-hot encodingConverte categoria em colunas binárias.Variáveis categóricas nominais.
DiscretizaçãoTransforma contínuo em faixas.Interpretação, regras, árvores ou exigência de negócio.
Seleção de atributosRemove atributos irrelevantes ou redundantes.Reduz ruído, custo e overfitting.

Vazamento de dados

Data leakage ocorre quando informação indisponível no momento da previsão entra no treino ou na validação. Exemplo: prever inadimplência usando uma coluna preenchida depois da cobrança. O modelo fica lindo no laboratório e inútil no mundo real. Em concurso avançado, leakage aparece quando a preparação é feita antes de separar treino e teste.

Pegadinha da Dotôra Soffya

Normalizar a base inteira antes do split pode vazar informação do teste para o treino, porque média, mínimo, máximo ou desvio do conjunto de teste entram indiretamente no treinamento. O pipeline correto ajusta transformações no treino e aplica no teste.

Prof. Affonsinho explica, Módulo 08

8 Machine learning: famílias e modelos

Aprendizado de máquina é a construção de modelos capazes de aprender padrões a partir de dados, sem programação explícita de todas as regras. A doutrina técnica de Hastie, Tibshirani e Friedman, Christopher Bishop, Kevin Murphy e James, Witten, Hastie e Tibshirani organiza o tema em predição, inferência, regularização, validação e generalização.

TipoHá rótulo?ObjetivoExemplos
SupervisionadoSimAprender relação entrada -> saída.Classificação, regressão.
Não supervisionadoNãoDescobrir estrutura, grupos ou padrões.Clusterização, associação, PCA.
SemissupervisionadoPoucos rótulosUsar muitos dados sem rótulo e poucos rotulados.Classificação com rotulagem cara.
ReforçoSinal de recompensaAprender ações por recompensa e penalidade.Jogos, robótica, decisão sequencial.
TransferênciaDependeAdaptar conhecimento de uma tarefa ou domínio para outro.Fine-tuning de modelos pré-treinados.

Modelos supervisionados clássicos

  • Regressão linear: prevê valor contínuo; interpretável; sensível a pressupostos.
  • Regressão logística: classificação binária; retorna probabilidade.
  • Árvore de decisão: regras hierárquicas; interpretável; tende a overfitting se não podada.
  • Random Forest: conjunto de árvores com aleatoriedade; reduz variância.
  • Gradient Boosting: árvores sequenciais corrigindo erros anteriores; alto desempenho, cuidado com ajuste fino.
  • SVM: separa classes por hiperplano; kernels permitem fronteiras não lineares.
  • Naive Bayes: probabilístico; assume independência condicional; forte em texto como baseline.
Prof. Affonsinho explica, Módulo 08

8.1 Métricas, matriz de confusão e validação

Modelo sem métrica correta é chute com planilha bonita. Para classificação binária, a base é a matriz de confusão: verdadeiro positivo (TP), falso positivo (FP), verdadeiro negativo (TN) e falso negativo (FN). A partir dela nascem as métricas mais cobradas.

MétricaFórmulaQuando importa
Acurácia(TP + TN) / totalBoa se classes equilibradas; enganosa em base desbalanceada.
PrecisãoTP / (TP + FP)Quando falso positivo custa caro.
RecallTP / (TP + FN)Quando falso negativo custa caro.
F1-scoreMédia harmônica de precisão e recallEquilibra precisão e recall.
EspecificidadeTN / (TN + FP)Capacidade de reconhecer negativos.
AUC-ROCÁrea sob curva ROCDesempenho em diferentes limiares.

Treino, validação e teste

Treino ajusta o modelo. Validação ajuda a escolher hiperparâmetros. Teste estima desempenho final em dados não vistos. Validação cruzada k-fold divide os dados em k partes; em cada rodada, treina em k-1 partes e valida na parte restante. A métrica final é agregada. Ela não "aumenta" artificialmente o conjunto de dados; ela avalia generalização de modo mais robusto.

Alerta do Examinador

Em base de fraude com 1% de casos positivos, um modelo que sempre diz "não fraude" tem 99% de acurácia e utilidade quase nula. A banca ama esse truque. Olhe precisão, recall, F1, matriz de confusão e custo do erro.

Prof. Affonsinho explica, Módulo 08

8.2 Overfitting, underfitting, viés e variância

Overfitting ocorre quando o modelo aprende ruído e particularidades do treino, com ótimo desempenho nos dados de treinamento e mau desempenho em dados novos. Underfitting ocorre quando o modelo é simples demais para capturar o padrão, tendo desempenho ruim até no treino. A tensão clássica é viés-variância: modelo muito rígido tem alto viés; modelo muito flexível tem alta variância.

TécnicaComo ajudaExemplo
RegularizaçãoPenaliza complexidade do modelo.L1 (Lasso), L2 (Ridge), Elastic Net.
Validação cruzadaAvalia generalização em diferentes partições.k-fold, stratified k-fold.
PodaReduz complexidade de árvore.Limitar profundidade e folhas.
DropoutDesativa neurônios durante treino.Redes neurais profundas.
Aumento de dadosCria variações legítimas de exemplos.Imagem, áudio e texto com cautela.
Early stoppingInterrompe treino quando validação piora.Redes neurais e boosting.

PCA e redução de dimensionalidade

PCA (Principal Component Analysis) é técnica não supervisionada de redução de dimensionalidade. Ela cria componentes ortogonais que capturam máxima variância dos dados. Não é classificador, não exige rótulos e não "seleciona as melhores colunas" exatamente como seleção de atributos; ela cria novas combinações lineares das variáveis originais.

Pegadinha da Dotôra Soffya

PCA não é método supervisionado, não prevê classe e não escolhe variável-alvo. Se a questão disser que PCA usa rótulos para maximizar separação entre classes, está descrevendo outra família de técnica, não PCA clássico.

Prof. Affonsinho explica, Módulo 08

8.3 Clusterização, interpretabilidade e ética técnica

Modelos não supervisionados procuram estrutura sem rótulos prévios. k-means minimiza distância a centroides; DBSCAN identifica regiões densas e ruído; clusterização hierárquica cria árvore de agrupamentos. A avaliação pode usar medidas internas, como silhueta, ou validação externa quando há rótulo de referência.

Interpretabilidade

Concurso público gosta de mencionar "caixa-preta". Modelos como regressão linear e árvores simples são mais interpretáveis; redes profundas e ensembles complexos tendem a exigir métodos de explicação. Em uso público, interpretabilidade conversa com motivação do ato administrativo, transparência, auditoria, contestabilidade e LGPD.

ConceitoSignificadoRisco em setor público
Viés algorítmicoResultado sistematicamente desfavorável a grupo ou perfil.Discriminação direta ou indireta em fiscalização, crédito, benefício ou policiamento.
ExplicabilidadeCapacidade de explicar fatores que influenciaram decisão.Decisão opaca dificulta recurso e controle.
RobustezEstabilidade diante de ruído, mudança e ataque.Modelo frágil erra em população diferente da base de treino.
MonitoramentoAcompanhamento contínuo de desempenho.Drift derruba modelo após mudança social, econômica ou normativa.

Concept drift ocorre quando a relação entre variáveis muda ao longo do tempo. Data drift ocorre quando a distribuição dos dados de entrada muda. Em 2026, isso importa muito em modelos públicos porque legislação, comportamento social e fraude mudam rápido.

Bate-papo com o Seu Teoffilo

Modelo que afeta direito de pessoa não pode ser tratado como brinquedo estatístico. Ele precisa de finalidade legítima, base legal, qualidade de dados, monitoramento, revisão e registro. Técnica e direito andam juntos porque o erro técnico vira erro administrativo.

Prof. Affonsinho explica, Módulo 09

9 Deep learning, NLP e IA generativa

Deep learning é subcampo de machine learning baseado em redes neurais profundas, com múltiplas camadas capazes de aprender representações. A referência técnica clássica é Goodfellow, Bengio e Courville. Em prova, aparecem perceptron, função de ativação, backpropagation, gradiente descendente, redes convolucionais, redes recorrentes, transformers e embeddings.

ArquiteturaUso comumPonto de prova
CNNImagens e visão computacional.Convoluções extraem padrões locais.
RNN/LSTM/GRUSéries e sequências.Memória temporal; hoje muitas tarefas migraram para transformers.
TransformerLinguagem, visão, multimodal.Atenção permite capturar dependências longas e paralelizar treino.
AutoencoderCompressão, reconstrução, anomalia.Aprende representação latente.
GANGeração de dados sintéticos.Gerador e discriminador em competição.

NLP

Processamento de linguagem natural, na linha de Jurafsky e Martin, trata texto e fala computacionalmente. Técnicas clássicas: tokenização, stemming, lematização, stopwords, n-gramas, TF-IDF e bag of words. Bag of words representa texto pela frequência de termos e, no modelo básico, ignora ordem e contexto. Se a assertiva disser que preserva contexto, errou bonito.

Embeddings representam palavras, frases ou documentos em vetores densos, aproximando itens semanticamente semelhantes. Eles são base para busca semântica, recomendação, classificação de texto e RAG.

Pegadinha da Dotôra Soffya

Bag of words não preserva ordem sintática nem contexto semântico. Ele transforma texto em contagem ou presença de termos. TF-IDF melhora ponderação, mas continua sem entender contexto como um transformer.

Prof. Affonsinho explica, Módulo 09

9.1 LLM, RAG, prompt, LLMOps e MLOps

LLM é grande modelo de linguagem treinado em grande escala para prever e gerar texto, código ou conteúdo multimodal. IA generativa é família mais ampla de modelos que geram novos dados: texto, imagem, áudio, vídeo, código. Em concursos de 2025 em diante, o tema passou a entrar junto de transformers, redes neurais, NLP, prompt, RAG e governança.

ConceitoSignificadoRisco ou limite
PromptInstrução dada ao modelo.Prompt bom não substitui dado confiável nem validação.
RAGRecuperação de documentos + geração de resposta.Depende de base, chunking, embeddings, busca e citação correta.
Fine-tuningAjuste do modelo em dados específicos.Não é igual a consultar base externa.
AlucinaçãoResposta plausível, mas falsa ou sem base.Crítico em decisão pública e material jurídico.
MLOpsOperação de modelos de ML em produção.Inclui versionamento, monitoramento, drift, CI/CD e rollback.
LLMOpsOperação de soluções com LLM.Inclui avaliação de prompts, guardrails, custo, segurança e rastreabilidade.

RAG sem fantasia

RAG não torna o modelo infalível. Ele reduz alucinação ao recuperar trechos relevantes de uma base externa e dar contexto ao modelo. Ainda assim, pode errar por indexação ruim, documento desatualizado, chunk mal dividido, busca semântica fraca, instrução ambígua ou geração que não respeita a fonte.

Alerta do Examinador

Fine-tuning altera pesos do modelo; RAG consulta base externa no momento da resposta. São estratégias diferentes. Questão que chama RAG de treinamento adicional obrigatório está misturando conceitos.

Prof. Affonsinho explica, Módulo 10

10 LGPD, Constituição e decisões automatizadas

Ciência de Dados em concurso público não termina no algoritmo. O uso de dados pelo Estado precisa respeitar a Constituição, a LGPD e a jurisprudência. A EC 115/2022 incluiu a proteção de dados pessoais no art. 5º, LXXIX, da Constituição, atribuiu à União organizar e fiscalizar a proteção e o tratamento de dados pessoais (art. 21, XXVI) e fixou competência privativa da União para legislar sobre proteção e tratamento de dados pessoais (art. 22, XXX).

Lei 13.709/2018 - LGPD, eixo para prova
Art. 6º: princípios como finalidade, adequação, necessidade, livre acesso, qualidade, transparência, segurança, prevenção, não discriminação e responsabilização.
Art. 7º: bases legais para dados pessoais.
Art. 11: hipóteses para dados sensíveis.
Art. 18: direitos do titular.
Art. 20: revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem interesses do titular.
Art. 23: tratamento pelo poder público para finalidade pública, interesse público e execução de competências legais.
Art. 46: segurança técnica e administrativa.
Art. 50: boas práticas e governança.

Danilo Doneda, Laura Schertel Mendes, Bruno Bioni e Stefano Rodotà ajudam a entender a proteção de dados como tutela da pessoa na sociedade informacional, não apenas sigilo de arquivo. O núcleo é autodeterminação informativa, controle, finalidade, transparência e prevenção de abuso.

Bate-papo com o Seu Teoffilo

Em órgão público, a pergunta não é "tenho dado?". A pergunta correta é: tenho competência legal, finalidade pública, necessidade, transparência, segurança, registro e proporcionalidade? Dado público não é dado sem dono; dado pessoal em base pública continua protegido.

Prof. Affonsinho explica, Módulo 10

10.1 Precedentes que podem cair

Aqui eu vou ser cirúrgico. Ciência de Dados em concurso jurídico-administrativo costuma cruzar com proteção de dados, crédito, compartilhamento estatal, transparência e decisões automatizadas. Guarde os precedentes com número real.

PrecedenteTese relevante para Ciência de Dados
STF, ADI 6387/DFSuspendeu a MP 954/2020, que previa compartilhamento de dados de usuários de telefonia com o IBGE. A decisão destacou privacidade, autodeterminação informativa, finalidade, necessidade, proporcionalidade, segurança e delimitação do tratamento.
STF, ADI 6649/DF e ADPF 695/DFAdmitiu compartilhamento de dados pessoais entre órgãos e entidades da Administração Pública federal, desde que observados finalidade legítima, específica e explícita, adequação, necessidade, publicidade, segurança, registro de acesso e LGPD.
STJ, REsp 1.419.697/RSRecurso repetitivo sobre credit scoring. Reconheceu licitude do método estatístico de avaliação de risco, com limites de privacidade, transparência, direito à informação e responsabilidade por abuso.
STJ, Súmula 550Credit scoring dispensa consentimento prévio por não constituir banco de dados, mas o consumidor tem direito a esclarecimentos sobre informações valoradas e fontes consideradas.

Como a banca transforma isso em questão

  • Interesse público não autoriza coleta ilimitada.
  • Compartilhamento entre órgãos não dispensa finalidade, necessidade e publicidade.
  • Decisão automatizada não fica imune a revisão, transparência e contestação.
  • Modelo estatístico lícito não autoriza dado sensível, excessivo ou incorreto.
  • Dados anonimizados podem sair da LGPD, mas anonimização precisa ser razoavelmente irreversível, considerando meios técnicos disponíveis.

Pegadinha da Dotôra Soffya

A Súmula 550 do STJ não diz que scoring pode fazer qualquer coisa. Ela dispensa consentimento prévio naquele método estatístico específico, mas mantém direito a esclarecimento, transparência e responsabilidade por dados abusivos, sensíveis, excessivos ou incorretos.

Para revisar antes da prova

Mapa mental

Ciência de Dados para concursos

Editais

  • CPNU, BCB, PF, TCE, TJ, fiscal
  • BI, DW, ML, Big Data, LGPD
  • IA generativa e LLM em alta

Dados

  • Estruturado, semiestruturado, não estruturado
  • Metadados, linhagem, qualidade
  • DMBOK e governança

Estatística

  • Média, mediana, variância, desvio
  • Amostragem, hipótese, p-valor
  • Correlação não é causalidade

Banco e BI

  • SQL, chaves, joins, índices
  • Kimball, Inmon, DW, data mart
  • ETL/ELT, OLAP, dashboards

Big Data

  • 5 Vs, Hadoop, HDFS, Spark
  • Batch, streaming, lake, lakehouse
  • Data mesh e governança federada

Mineração

  • KDD e CRISP-DM
  • Classificação, regressão, cluster
  • Associação, anomalia, NLP

ML

  • Treino, validação, teste
  • Matriz de confusão e métricas
  • Overfitting, regularização, PCA

IA moderna

  • Deep learning e transformers
  • Embeddings, LLM, prompt, RAG
  • MLOps, LLMOps, drift

LGPD

  • EC 115/2022, art. 5º, LXXIX
  • LGPD arts. 6º, 20, 23, 46, 50
  • ADI 6387, ADI 6649, Súmula 550 STJ

Dica do Fuffu

Se faltar tempo, revise o mapa de trás para frente: LGPD e IA moderna são o tempero novo; ML e mineração são o miolo técnico; banco, BI e dados são a base que mais se repete.

Revisão ativa

Pontos que derrubam candidato bom

1. Dado não é informação. Informação exige contexto e processamento.

2. Dado estruturado não significa dado correto. Estrutura é esquema; qualidade é outra conversa.

3. Metadado descreve dado. Linhagem mostra origem e transformação.

4. ETL transforma antes de carregar; ELT transforma depois de carregar.

5. OLTP é transacional. OLAP é analítico.

6. Data lake não é necessariamente dado curado. DW é curado e modelado para análise.

7. Secondary NameNode não é failover automático do NameNode.

8. CRISP-DM começa por entendimento do negócio, não por modelagem.

9. Classificação e regressão são supervisionadas. Clusterização e associação não são.

10. k-means precisa de k. Ele não descobre sozinho o número perfeito de grupos.

11. Acurácia engana em base desbalanceada. Olhe recall, precisão, F1 e matriz.

12. Validação cruzada avalia generalização; não duplica dados magicamente.

13. PCA é não supervisionado e cria componentes; não é classificador.

14. Bag of words ignora ordem e contexto no modelo básico.

15. Fine-tuning altera pesos; RAG recupera contexto externo.

16. LGPD vale para o poder público. Interesse público não apaga necessidade, finalidade e segurança.

17. ADI 6387: finalidade vaga e ausência de garantias derrubam compartilhamento compulsório.

18. ADI 6649/ADPF 695: compartilhamento público é possível, mas condicionado.

19. Súmula 550 STJ: scoring é lícito sem consentimento prévio, com transparência e limites.

20. Modelo em produção precisa monitorar drift, qualidade, viés e desempenho.

Fontes-base da aula
Editais e provas recentes de CPNU/FGV e Cebraspe; DAMA-DMBOK; Fayyad, Piatetsky-Shapiro e Smyth; Chapman/CRISP-DM; Kimball; Inmon; Hastie, Tibshirani e Friedman; Bishop; Murphy; Goodfellow, Bengio e Courville; Jurafsky e Martin; Kleppmann; LGPD; EC 115/2022; STF ADI 6387; STF ADI 6649 e ADPF 695; STJ REsp 1.419.697/RS e Súmula 550.
Q1

Questão 01 · Comentada

Enunciado. Em projeto de Ciência de Dados para órgão público, a metodologia CRISP-DM estabelece fases iterativas. Assinale a alternativa que apresenta a ordem correta das fases.

  1. A) Preparação dos dados, implantação, modelagem, avaliação, entendimento dos dados e entendimento do negócio.
  2. B) Entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação.
  3. C) Modelagem, preparação dos dados, entendimento do negócio, implantação, avaliação e entendimento dos dados.
  4. D) Entendimento dos dados, modelagem, implantação, entendimento do negócio, avaliação e preparação dos dados.
  5. E) Implantação, avaliação, modelagem, preparação dos dados, entendimento dos dados e entendimento do negócio.

Gabarito: B

Prof. Affonsinho comenta

CRISP-DM começa pelo problema, não pelo algoritmo.

  • A errada: preparação não vem antes de entender negócio e dados; implantação não abre o processo.
  • B CORRETA: ordem canônica: negócio, dados, preparação, modelagem, avaliação, implantação.
  • C errada: modelagem antes do entendimento do negócio é inversão típica de prova.
  • D errada: entendimento dos dados depende do objetivo de negócio; implantação não vem antes da avaliação.
  • E errada: apresenta a sequência praticamente invertida.

Tese central: CRISP-DM é iterativo, mas a sequência base é entendimento do negócio -> entendimento dos dados -> preparação dos dados -> modelagem -> avaliação -> implantação.

Q2

Questão 02 · Comentada

Enunciado. Em base de detecção de fraudes com classes desbalanceadas, um classificador apresenta acurácia de 99%, mas identifica apenas pequena parcela das fraudes. A conclusão tecnicamente mais adequada é:

  1. A) A acurácia elevada prova que o modelo é ótimo para a finalidade.
  2. B) A acurácia é irrelevante em qualquer problema de classificação.
  3. C) A avaliação deve considerar matriz de confusão, recall, precisão, F1 e custo dos erros, pois a acurácia pode ser enganosa em base desbalanceada.
  4. D) O problema deve ser convertido obrigatoriamente em regressão linear.
  5. E) A validação cruzada elimina todo risco de desbalanceamento.

Gabarito: C

Prof. Affonsinho comenta

Base desbalanceada exige olhar além da acurácia.

  • A errada: modelo que sempre prevê a classe majoritária pode ter acurácia alta e utilidade baixa.
  • B errada: acurácia pode ser útil em classes equilibradas; não é proibida.
  • C CORRETA: a matriz de confusão revela TP, FP, TN e FN; recall mede fraudes capturadas; precisão mede alarmes corretos.
  • D errada: fraude ou não fraude é problema típico de classificação, não regressão linear obrigatória.
  • E errada: validação cruzada ajuda a estimar generalização, mas não elimina desbalanceamento por si só.

Tese central: Em base desbalanceada, acurácia pode enganar. Use matriz de confusão, precisão, recall, F1, AUC e custo do erro para avaliar o modelo.

Q3

Questão 03 · Comentada

Enunciado. Sobre data warehouse, OLAP e modelagem dimensional, assinale a alternativa correta.

  1. A) OLAP é voltado ao registro de transações operacionais em tempo real, enquanto OLTP é voltado à análise histórica.
  2. B) Tabela fato contém medidas e eventos de negócio, enquanto dimensões fornecem contexto analítico, como tempo, local, produto ou órgão.
  3. C) Data warehouse é, por definição clássica, altamente volátil e orientado à atualização transacional linha a linha.
  4. D) Modelo estrela elimina toda redundância por normalização até a terceira forma normal.
  5. E) Kimball e Inmon defendem exatamente a mesma abordagem top-down de data warehouse corporativo.

Gabarito: B

Prof. Affonsinho comenta

A questão cobra a separação entre analítico e operacional.

  • A errada: inverte os conceitos: OLTP é transacional; OLAP é analítico.
  • B CORRETA: fatos registram medidas e eventos; dimensões dão contexto para fatiar e analisar.
  • C errada: DW clássico é não volátil, integrado, orientado por assunto e variante no tempo.
  • D errada: modelo estrela usa dimensões frequentemente desnormalizadas para facilitar consulta.
  • E errada: Inmon é associado a top-down corporativo; Kimball a data marts dimensionais integrados.

Tese central: DW é repositório analítico. OLTP registra transações; OLAP consulta e analisa. No modelo dimensional, fato mede evento e dimensão contextualiza a análise.

Q4

Questão 04 · Comentada

Enunciado. No Hadoop, o Secondary NameNode substitui automaticamente o NameNode em caso de falha, garantindo alta disponibilidade sem configuração adicional. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

Essa é uma pegadinha clássica de Big Data.

  • Assertiva errada: Secondary NameNode faz checkpoints periódicos do namespace e ajuda a controlar arquivos de edição do HDFS.
  • NameNode conceito: é o componente que mantém metadados do HDFS.
  • Alta disponibilidade limite: exige arquitetura própria de alta disponibilidade; Secondary NameNode não é substituto automático por si só.

Tese central: Secondary NameNode não é backup quente nem failover automático do NameNode; sua função clássica é checkpoint do namespace.

Q5

Questão 05 · Comentada

Enunciado. A técnica bag of words, em processamento de linguagem natural, representa texto pela frequência ou presença de termos e preserva a ordem sintática e o contexto semântico das palavras. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

A primeira parte está perto; a segunda entrega o erro.

  • BoW parcialmente correto: representa texto por presença ou frequência de termos.
  • Ordem e contexto errado: o modelo básico ignora ordem das palavras e contexto semântico.
  • TF-IDF cuidado: melhora ponderação dos termos, mas também não preserva contexto como embeddings ou transformers.

Tese central: Bag of words é representação esparsa por termos; não preserva ordem nem contexto no modelo básico.

Q6

Questão 06 · Comentada

Enunciado. Sobre PCA, assinale a alternativa correta.

  1. A) É classificador supervisionado que maximiza a separação entre classes rotuladas.
  2. B) É técnica não supervisionada de redução de dimensionalidade que cria componentes ortogonais, usualmente ordenados pela variância explicada.
  3. C) É método de imputação de valores ausentes por média.
  4. D) É técnica de associação que calcula suporte, confiança e lift.
  5. E) É algoritmo de clusterização baseado em centroides e exige a escolha prévia de k.

Gabarito: B

Prof. Affonsinho comenta

PCA é redução de dimensionalidade, não classificador.

  • A errada: usa rótulo e separação de classes, o que não define PCA clássico.
  • B CORRETA: componentes principais são combinações ortogonais que capturam variância.
  • C errada: imputação é etapa de pré-processamento distinta.
  • D errada: suporte, confiança e lift são de regras de associação.
  • E errada: isso descreve k-means, não PCA.

Tese central: PCA é técnica não supervisionada de redução de dimensionalidade; cria componentes principais ordenados pela variância explicada.

Q7

Questão 07 · Comentada

Enunciado. Conforme a LGPD e a jurisprudência do STF, o compartilhamento de dados pessoais entre órgãos públicos é sempre livre quando houver interesse público genérico. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

Interesse público genérico não é cheque em branco.

  • LGPD exige limites: finalidade, adequação, necessidade, transparência, segurança e responsabilização continuam aplicáveis.
  • ADI 6387 referência: STF suspendeu compartilhamento compulsório por falta de delimitação adequada de finalidade, necessidade e garantias.
  • ADI 6649/ADPF 695 referência: STF admitiu compartilhamento público, mas condicionado a critérios e salvaguardas.

Tese central: Compartilhamento público é possível, mas precisa de finalidade legítima, específica e explícita, adequação, necessidade, publicidade, segurança, registro e respeito à LGPD.

Q8

Questão 08 · Comentada

Enunciado. No contexto de regras de associação, a confiança de uma regra X -> Y mede a frequência conjunta de X e Y em todo o conjunto de transações. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

A assertiva trocou confiança por suporte.

  • Suporte conceito correto: mede a frequência de X e Y juntos no conjunto de transações.
  • Confiança conceito correto: mede a proporção de transações com X que também contêm Y.
  • Lift complemento: compara a associação observada com a esperada por acaso.

Tese central: Suporte é frequência conjunta; confiança é probabilidade de Y dado X; lift indica força relativa da associação.

Q9

Questão 09 · Comentada

Enunciado. Sobre RAG e fine-tuning em grandes modelos de linguagem, assinale a alternativa correta.

  1. A) RAG consiste obrigatoriamente em re treinar os pesos do modelo com base documental do órgão.
  2. B) Fine-tuning é a recuperação de documentos externos no momento da pergunta, sem alteração do modelo.
  3. C) RAG combina recuperação de informações em base externa com geração de resposta pelo modelo, podendo reduzir alucinação quando a base e a recuperação são confiáveis.
  4. D) RAG elimina a necessidade de curadoria, segurança, versionamento e validação das respostas.
  5. E) LLMOps é apenas a escolha de prompt manual, sem monitoramento de custo, segurança ou qualidade.

Gabarito: C

Prof. Affonsinho comenta

RAG e fine-tuning são estratégias diferentes.

  • A errada: isso descreve ajuste de pesos, não RAG.
  • B errada: inverte os conceitos; fine-tuning altera o modelo.
  • C CORRETA: RAG recupera contexto externo e o usa na geração.
  • D errada: RAG exige ainda mais cuidado com base, indexação, citações e validação.
  • E errada: LLMOps envolve operação, avaliação, custo, segurança, monitoramento e governança.

Tese central: Fine-tuning ajusta pesos; RAG recupera contexto externo para orientar a geração. RAG reduz riscos, mas não elimina validação e governança.

Q10

Questão 10 · Comentada

Enunciado. Segundo a Súmula 550 do STJ, o sistema de credit scoring é absolutamente livre de deveres de transparência, pois dispensa consentimento do consumidor. (Certo / Errado)

Gabarito: Errado

Prof. Affonsinho comenta

A súmula dispensa consentimento prévio, mas não apaga limites.

  • Consentimento ponto correto: a súmula reconhece dispensa de consentimento prévio no método estatístico de avaliação de risco.
  • Transparência ponto errado da assertiva: o consumidor mantém direito a esclarecimentos sobre informações pessoais valoradas e fontes dos dados.
  • Responsabilidade limite: uso de informação sensível, excessiva, incorreta ou abusiva pode gerar responsabilidade.

Tese central: Súmula 550 STJ: credit scoring dispensa consentimento prévio, mas preserva direito a esclarecimento e limites de privacidade, transparência e correção.

Aula fechada

Você fechou o núcleo de Ciência de Dados para concursos.
Editais mapeados: CPNU, BCB, PF, TCE, TJ, Câmara e fiscal.
Dados, metadados, qualidade, linhagem e DMBOK.
Estatística descritiva, hipótese, correlação e regressão.
SQL, relacional, NoSQL, chaves, joins e normalização.
DW, BI, OLAP, ETL/ELT, Kimball e Inmon.
Big Data, Hadoop, HDFS, Spark, lake, lakehouse e data mesh.
KDD, CRISP-DM, associação, clusterização e anomalias.
ML supervisionado, não supervisionado, métricas e PCA.
Deep learning, NLP, embeddings, LLM, RAG e MLOps.
EC 115/2022, LGPD, ADI 6387, ADI 6649 e Súmula 550 STJ.

f
furafila

Aula 01 / 01 - Ciência de Dados - furafila

Treine essa matéria no furafila

Acabou a aula? Fixe o conteúdo respondendo questões comentadas, com XP, ranking e batalhas. De graça.

começar grátis agora

← Todas as aulas