Uma organização está implementando um sistema de busca de informações interno, e a equipe de desenvolvimento resolveu avaliar diferentes modelos de linguagem vetoriais que ajudariam a conectar melhor documentos e consultas em departamentos que usam terminologias distintas em áreas de negócio que se sobrepõem. Um dos analistas ressaltou que seria interessante guardar os vetores de todo o vocabulário do modelo em um cache, de forma a aumentar a eficiência de acesso e reduzir certos custos de implantação. Das alternativas abaixo, aquela que lista apenas os modelos compatíveis com essa estratégia de caching é:
- A)TF-IDF, BERT;
Errada, porque TF-IDF não é um modelo vetorial de linguagem como os embeddings clássicos e BERT é contextual, então não atende à estratégia descrita.
- B)Word2Vec, BERT, GPT-2;
Errada, porque BERT usa representações contextuais, incompatíveis com o armazenamento de um único vetor fixo para cada palavra do vocabulário.
- C)GloVe, GPT-2;
Errada, porque GPT-2 também gera embeddings dependentes do contexto, embora GloVe seja compatível com cache.
- D)Word2Vec, GloVe;
Certa, porque Word2Vec e GloVe usam embeddings estáticos, com vetor fixo por palavra, o que permite guardar o vocabulário em cache.
- E)GPT-2, BERT.
Errada, porque GPT-2 e BERT são modelos contextuais e não fornecem um vetor único e fixo para cada termo do vocabulário.
Gabarito: D
A ideia central aqui é separar modelos de vetores estáticos de modelos contextuais. Nos vetores estáticos, cada palavra costuma ter uma representação fixa no vocabulário do modelo. Isso facilita guardar tudo em cache, porque você consegue armazenar o vetor da palavra e reutilizar sempre que ela aparecer, sem surpresa de contexto. É exatamente o caso de Word2Vec e GloVe. Eles geram embeddings fixos para as palavras, então faz sentido manter o vocabulário vetorial em cache para acelerar a busca e reduzir custo de acesso. Em sistemas de busca interna, isso ajuda a aproximar termos de áreas diferentes quando há semelhança semântica, mesmo que o texto use nomenclaturas distintas. Já BERT e GPT-2 trabalham com embeddings contextuais. Ou seja, a representação de uma palavra muda conforme a frase em que ela aparece. Fica difícil dizer: "vou guardar o vetor de toda palavra do modelo e pronto", porque o vetor não é único e permanente para cada termo. É por isso que essas arquiteturas não combinam com a estratégia descrita no enunciado. Então o gabarito D está correto porque reúne apenas modelos com embeddings estáticos, compatíveis com cache do vocabulário. Se a banca quiser te pegar, a regra é simples: se o vetor é fixo por palavra, pode cachear; se depende do contexto, desconfie.