Abdo, Rodrigo FigueiredoZimmermann, Ricardo César2026-11-182026-11-18ZIMMERMANN, Ricardo César. Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto. 2026. 20 f. Trabalho de Conclusão de Curso (Especialização em Matemática, Educação e Tecnologias) - Instituto Federal de Educação, Ciência e Tecnologia de Brasília - Campus Estrutural, Brasília, 2026.https://repositorio.ifb.edu.br/handle/1/2868Apresentamos um estudo de validade de construto (construct validity) de pipelines automáticos de avaliação para Small Language Models (SLMs) em tarefas de programação em português. Utilizando o SLM Benchmark Kit como instrumento experimental, integramos execução local via Ollama, avaliação automática com múltiplos juízes, avaliação humana cega e análise estatística com Welch, tamanho de efeito, intervalo de confiança bootstrap e regressão OLS com erros robustos. Em um experimento com 1296 execuções, comparamos os modelos Qwen2.5-Coder:1.5B e DeepSeek-Coder:1.3B e observamos diferença estatisticamente significativa entre médias (Cohen’s d = →0, 440, tamanho de efeito pequeno a médio). Observamos baixa concordância entre juízes automáticos (Spearman ↑ 0, 302) e descolamento expressivo entre avaliação automática e consenso humano (Spearman = 0,286; MAE = 2,35 pontos), evidenciando superestimação sistemática dos juízes automáticos. Em contraste, a concordância entre avaliadores humanos foi excelente (ωw entre 0,966 e 1,000). Os resultados indicam que desempenho médio e significância estatística, isoladamente, são insuficientes para sustentar inferência robusta quando o pipeline apresenta degradação de juiz, baixa calibração automático versus humano e escores automáticos sistematicamente superestimados.Português (Brasil)Avaliação de desempenhoInteligência artificialLinguagem de programação (Computadores)Engenharia de softwareEstatísticaPipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construtobachelor thesisCIENCIAS EXATAS E DA TERRA::MATEMATICA