Análise de temas de trabalho de conclusão de curso na rede federal: uma abordagem baseada em web scraping e visualização de dados

Abstract

Esta monografia aborda a lacuna na sistematização dos temas de TCCs desenvolvidos nos diversos cursos de ensino superior das instituições da Rede Federal de Educação Profissional, Científica e Tecnológica. O objetivo geral é analisar as respectivas temáticas por meio de técnicas de web scraping para coleta de dados e desenvolver um dashboard interativo para visualização e análise de dados acadêmicos. A metodologia envolveu a implementação de um sistema de web scraping assíncrono, que coletou 206.399 metadados de TCCs dos repositórios digitais de 30 instituições. Esses dados foram submetidos a um pipeline de Extração, Transformação e Carga (ETL), que resultou em 81.666 registros validados e estruturados em um modelo Star Schema. Subsequentemente, técnicas de Processamento de Linguagem Natural (PLN) e mineração de texto foram aplicadas, onde o algoritmo Latent Dirichlet Allocation (LDA) categorizou os trabalhos em 10 tópicos temáticos distintos. A análise dos resultados identificou tendências de crescimento, com destaque para o Tópico 0 "Aprendizagem, Matemática e Revisão"(coeficiente angular de 42,34), e a emergência de termos como "aplicativo"(crescimento de 554,3%). O projeto culminou no desenvolvimento de um dashboard interativo em Streamlit, que permite a exploração dinâmica dos dados. A pesquisa é classificada como aplicada, descritiva, exploratória, predominantemente quantitativa e técnica. Conclui-se que o artefato desenvolvido é funcional, atende aos requisitos propostos e demonstra que a arquitetura do pipeline é eficaz para transformar dados acadêmicos dispersos em insights estratégicos para gestores, pesquisadores e alunos.