Análise estatística de textos

Abstract

Desde a popularização da internet existiu um crescimento acelerado de serviços disponíveis à população. Sites de notícias tornaram-se muito populares devido à velocidade de informação fornecida. Este trabalho tem como objetivo propor duas metodologias que possam ser aplicadas à análise de um conjunto de documentos, geralmente chamado de corpus. As duas metodologias propostas são a Análise Semântica Latente e a Alocação Latente de Dirichlet. A primeira tem como objetivo criar um campo semântico a fim de representar as palavras, sendo possível assim a categorização em grupos. A segunda parte do pressuposto que, ao redigir um texto, o autor possui tópicos em mente e escreve um texto alternando as diferentes palavras pertencente a cada um destes tópicos, sendo possível a modelagem do texto baseando-se em distribuições de probabilidades, na qual cada tópico é uma distribuição de probabilidade sobre as palavras do corpus