Questão comentada de Banco de Dados

Gabarito: E

Quando a questão fala em processamento em batch, pense em tratamento de grandes volumes de dados em lotes, com foco em eficiência, escalabilidade e custo menor. Nesse cenário, o ecossistema Hadoop aparece como a referência clássica, porque foi desenhado justamente para guardar e processar dados em larga escala, com tolerância a falhas e funcionamento distribuído. Em termos simples: ele não quer saber de pressa de milissegundos, quer saber de dar conta do recado sem quebrar. A arquitetura tradicional em batch no mundo Hadoop gira em torno de três peças centrais. O HDFS é o sistema de arquivos distribuído, responsável pelo armazenamento dos dados em repouso. O processamento fica com o MapReduce, ou com motores modernos que cumprem esse papel, como o Spark, que também processam dados em lote. Já o YARN entra como o gerenciador de recursos e de execução dos jobs no cluster. Sem essa tríade, a solução perde a cara de Hadoop. Por isso o gabarito é a letra E. Ela reúne exatamente os componentes essenciais da arquitetura batch: HDFS para armazenar, MapReduce e/ou Spark para processar, e YARN para orquestrar os recursos. Em prova, costuma-se aceitar Spark como alternativa moderna ao MapReduce, porque ambos executam processamento distribuído em lote, embora o MapReduce seja o modelo histórico do Hadoop. O detalhe importante é não misturar ferramentas de streaming ou mensageria, como Kafka, com a estrutura base de batch. Kafka pode até integrar soluções de dados, mas não é componente essencial da arquitetura Hadoop em batch. Aqui, a banca quer que você reconheça o trio clássico do ecossistema, sem cair na tentação de escolher nomes famosos só porque aparecem em arquitetura de dados.