Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto
| dc.contributor.advisor | Abdo, Rodrigo Figueiredo | |
| dc.contributor.advisor-co | Brom, Pedro Carvalho | |
| dc.contributor.advisor-coLattes | http://lattes.cnpq.br/0154064396756002 | |
| dc.contributor.advisorLattes | http://lattes.cnpq.br/7719881257437340 | |
| dc.contributor.author | Zimmermann, Ricardo César | |
| dc.date.accessioned | 2026-11-18T21:22:56Z | |
| dc.date.available | 2026-11-18T21:22:56Z | |
| dc.date.defense | 2026 | |
| dc.description.abstract | Apresentamos um estudo de validade de construto (construct validity) de pipelines automáticos de avaliação para Small Language Models (SLMs) em tarefas de programação em português. Utilizando o SLM Benchmark Kit como instrumento experimental, integramos execução local via Ollama, avaliação automática com múltiplos juízes, avaliação humana cega e análise estatística com Welch, tamanho de efeito, intervalo de confiança bootstrap e regressão OLS com erros robustos. Em um experimento com 1296 execuções, comparamos os modelos Qwen2.5-Coder:1.5B e DeepSeek-Coder:1.3B e observamos diferença estatisticamente significativa entre médias (Cohen’s d = →0, 440, tamanho de efeito pequeno a médio). Observamos baixa concordância entre juízes automáticos (Spearman ↑ 0, 302) e descolamento expressivo entre avaliação automática e consenso humano (Spearman = 0,286; MAE = 2,35 pontos), evidenciando superestimação sistemática dos juízes automáticos. Em contraste, a concordância entre avaliadores humanos foi excelente (ωw entre 0,966 e 1,000). Os resultados indicam que desempenho médio e significância estatística, isoladamente, são insuficientes para sustentar inferência robusta quando o pipeline apresenta degradação de juiz, baixa calibração automático versus humano e escores automáticos sistematicamente superestimados. | |
| dc.description.abstracten | We present a construct validity study of automatic evaluation pipelines for Small Language Models (SLMs) in programming tasks in Portuguese. Using the SLM Benchmark Kit as an experimental instrument, we integrated local execution via Ollama, automatic evaluation with multiple judges, blind human evaluation, and statistical analysis with Welch’s test, effect size, bootstrap confidence intervals, and robust OLS regression. In an experiment with 1296 runs, we compared the Qwen2.5-Coder:1.5B and DeepSeek-Coder:1.3B models and observed a statistically significant difference between means (Cohen’s d = →0, 440, small to medium effect size). We found low agreement among automatic judges (Spearman ↑ 0, 302) and a notable gap between automatic evaluation and human consensus (Spearman = 0,286; MAE = 2,35 points), evidencing systematic overestimation by automatic judges. In contrast, human evaluators showed excellent agreement (ωw between 0,966 and 1,000). Results indicate that average performance and statistical significance alone are insufficient to support robust inference when the pipeline shows judge degradation, poor calibration against humans, and systematically overestimated automatic scores. | |
| dc.identifier.citation | ZIMMERMANN, Ricardo César. Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto. 2026. 20 f. Trabalho de Conclusão de Curso (Especialização em Matemática, Educação e Tecnologias) - Instituto Federal de Educação, Ciência e Tecnologia de Brasília - Campus Estrutural, Brasília, 2026. | |
| dc.identifier.uri | https://repositorio.ifb.edu.br/handle/1/2868 | |
| dc.language.iso | Português (Brasil) | |
| dc.publisher | Instituto Federal de Brasília | |
| dc.publisher.campus | Campus Estrutural | |
| dc.publisher.country | Brasil | |
| dc.publisher.initials | IFB | |
| dc.publisher.program | Especialização em Matemática, Educação e Tecnologias | |
| dc.subject | Avaliação de desempenho | |
| dc.subject | Inteligência artificial | |
| dc.subject | Linguagem de programação (Computadores) | |
| dc.subject | Engenharia de software | |
| dc.subject | Estatística | |
| dc.subject.cnpq | CIENCIAS EXATAS E DA TERRA::MATEMATICA | |
| dc.title | Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto | |
| dc.type | bachelor thesis | |
| dc.type.br | Trabalho de Conclusão de Curso |

