O método Latent Dirichlet Allocation (LDA) é popularmente utilizado para a construção de modelos de tópicos devido a sua flexibilidade e robustez, particularmente em grandes quantidades de texto. Ao mencionar a escolha do LDA em um projeto, um analista foi questionado sobre que aspectos caracterizam a flexibilidade do modelo, especialmente em comparação a um modelo pLSA. O analista respondeu corretamente:
- A)a capacidade de obter uma distribuição de tópicos para documentos inéditos;
Certa, porque o LDA consegue estimar a distribuição de tópicos para documentos novos, o que evidencia sua flexibilidade frente ao pLSA.
- B)a presença de menos variáveis latentes a ajustar, causando menos overfitting;
Errada, porque o LDA não se destaca por ter menos variáveis latentes, e sim por sua estrutura probabilística mais flexível.
- C)a não necessidade de especificar o número de tópicos a serem encontrados;
Errada, pois no LDA você precisa especificar ou definir o número de tópicos em algum nível de modelagem.
- D)a ausência de variáveis a priori a serem ajustadas;
Errada, porque o LDA depende de hiperparâmetros/priores, especialmente ligados à distribuição Dirichlet.
- E)a capacidade de modelar texto que não passou por uma etapa de pré-processamento.
Errada, porque a capacidade do modelo não depende de dispensar pré-processamento do texto.
Gabarito: A
O LDA e o pLSA são modelos de tópicos, mas o LDA leva vantagem justamente na generalização. Em termos simples, ele trata os tópicos como uma estrutura probabilística com priors, o que permite aplicar o modelo a documentos novos, nunca vistos, e ainda estimar a distribuição de tópicos para esses textos. Isso é uma das grandes razões de sua flexibilidade. No pLSA, o modelo fica mais preso aos documentos usados no treinamento, porque a distribuição documento-tópico é tratada de forma menos robusta do ponto de vista probabilístico. Na prática, isso dificulta a extensão para textos inéditos sem novas adaptações. Já no LDA, a estrutura generativa com Dirichlet ajuda a lidar melhor com novos documentos e reduz a dependência do conjunto original. Então, quando a banca fala em flexibilidade do LDA em comparação ao pLSA, ela está apontando para a capacidade de inferir tópicos em documentos inéditos. É exatamente isso que a alternativa A descreve. As demais opções tentam confundir com ideias de parcimônia, número de tópicos ou pré-processamento, mas não traduzem a diferença central entre os dois modelos.