Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto

dc.contributor.advisorAbdo, Rodrigo Figueiredo
dc.contributor.advisor-coBrom, Pedro Carvalho
dc.contributor.advisor-coLatteshttp://lattes.cnpq.br/0154064396756002
dc.contributor.advisorLatteshttp://lattes.cnpq.br/7719881257437340
dc.contributor.authorZimmermann, Ricardo César
dc.date.accessioned2026-11-18T21:22:56Z
dc.date.available2026-11-18T21:22:56Z
dc.date.defense2026
dc.description.abstractApresentamos um estudo de validade de construto (construct validity) de pipelines automáticos de avaliação para Small Language Models (SLMs) em tarefas de programação em português. Utilizando o SLM Benchmark Kit como instrumento experimental, integramos execução local via Ollama, avaliação automática com múltiplos juízes, avaliação humana cega e análise estatística com Welch, tamanho de efeito, intervalo de confiança bootstrap e regressão OLS com erros robustos. Em um experimento com 1296 execuções, comparamos os modelos Qwen2.5-Coder:1.5B e DeepSeek-Coder:1.3B e observamos diferença estatisticamente significativa entre médias (Cohen’s d = →0, 440, tamanho de efeito pequeno a médio). Observamos baixa concordância entre juízes automáticos (Spearman ↑ 0, 302) e descolamento expressivo entre avaliação automática e consenso humano (Spearman = 0,286; MAE = 2,35 pontos), evidenciando superestimação sistemática dos juízes automáticos. Em contraste, a concordância entre avaliadores humanos foi excelente (ωw entre 0,966 e 1,000). Os resultados indicam que desempenho médio e significância estatística, isoladamente, são insuficientes para sustentar inferência robusta quando o pipeline apresenta degradação de juiz, baixa calibração automático versus humano e escores automáticos sistematicamente superestimados.
dc.description.abstractenWe present a construct validity study of automatic evaluation pipelines for Small Language Models (SLMs) in programming tasks in Portuguese. Using the SLM Benchmark Kit as an experimental instrument, we integrated local execution via Ollama, automatic evaluation with multiple judges, blind human evaluation, and statistical analysis with Welch’s test, effect size, bootstrap confidence intervals, and robust OLS regression. In an experiment with 1296 runs, we compared the Qwen2.5-Coder:1.5B and DeepSeek-Coder:1.3B models and observed a statistically significant difference between means (Cohen’s d = →0, 440, small to medium effect size). We found low agreement among automatic judges (Spearman ↑ 0, 302) and a notable gap between automatic evaluation and human consensus (Spearman = 0,286; MAE = 2,35 points), evidencing systematic overestimation by automatic judges. In contrast, human evaluators showed excellent agreement (ωw between 0,966 and 1,000). Results indicate that average performance and statistical significance alone are insufficient to support robust inference when the pipeline shows judge degradation, poor calibration against humans, and systematically overestimated automatic scores.
dc.identifier.citationZIMMERMANN, Ricardo César. Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto. 2026. 20 f. Trabalho de Conclusão de Curso (Especialização em Matemática, Educação e Tecnologias) - Instituto Federal de Educação, Ciência e Tecnologia de Brasília - Campus Estrutural, Brasília, 2026.
dc.identifier.urihttps://repositorio.ifb.edu.br/handle/1/2868
dc.language.isoPortuguês (Brasil)
dc.publisherInstituto Federal de Brasília
dc.publisher.campusCampus Estrutural
dc.publisher.countryBrasil
dc.publisher.initialsIFB
dc.publisher.programEspecialização em Matemática, Educação e Tecnologias
dc.subjectAvaliação de desempenho
dc.subjectInteligência artificial
dc.subjectLinguagem de programação (Computadores)
dc.subjectEngenharia de software
dc.subjectEstatística
dc.subject.cnpqCIENCIAS EXATAS E DA TERRA::MATEMATICA
dc.titlePipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto
dc.typebachelor thesis
dc.type.brTrabalho de Conclusão de Curso

Arquivo(s)

Pacote Original

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
Ricardo_Cesar_Zimmermann_CEST.pdf
Tamanho:
511.85 KB
Formato:
Adobe Portable Document Format

Licença do Pacote

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
license.txt
Tamanho:
1.62 KB
Formato:
Item-specific license agreed to upon submission
Descrição: