Aplicação do método de Gradient Boosting

Abstract

Devido ao aumento exponencial da quantidade de dados, os custos mais baixos deprocessamento computacional e uma maior acessibilidade no armazenamento de dados, as técnicas de aprendizado de máquinas tornaram-se mais atrativas. O aprendizado de máquina é um método de análise de dados que automatiza o desenvolvimento de modelos e permite a criação de modelos preditores, que auxiliam na tomada de decisões, reduzindo assim possíveis riscos. Os modelos de previsão de aprendizado de máquinas podem utilizar de regressões, árvores de classificação, entre outros. Neste trabalho é estudado o modelo supervisionado de Gradient Boosting que é baseado em árvores de classificação, ele constrói o modelo em etapas, como outros métodos de boosting, e os generaliza, permitindo a otimização de uma função de perda diferenciável arbitrária. Este método e o método de Regressão Logística serão aplicados em um conjunto de dados rotulados, afim de compará-los. Os resultados obtidos foram diferentes em ambos os métodos, nos dados de treino o modelo de Gradient Boosting apresentou maiores valores de AUC do que o modelo de Regressão Logística, entretanto este padrão não se manteve na base de teste. O melhor modelo de Gradient Boosting ajustado apresentou uma acurácia de 0.5685, este modelo apresentou métricas de sensibilidade (0.652) e especificidade (0.4063) não muito discrepantes, indicando que ele acerta bem ambas as características, enquanto que o melhor modelo de Regressão Logística foi o modelo com uma acurácia de 0.6054, sensibilidade (0.81) e especificidade (0.2084). Apesar do modelo de Regressão Logística apresentar maior acurácia, considerou-se que o Gradient Boosting apresentou melhor desempenho, visto que ele acertou as duas características da variável resposta de forma mais consistente.