Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto

Data da publicação

Data da defesa

2026

Permissão de acesso

Diretor

Roteirista

Produtor executivo

Título da Revista

ISSN da Revista

Título de Volume

Título do periódico

Volume do periódico

Número da edição do periódico

Página inicial

Página final

Título do Evento

Número da edição do Evento

Nome da instituição

Instituto Federal de Brasília

Editora

Local de edição

Departamento

DOI

ISBN

ISSN

ISMN

Outros identificadores

Resumo

Apresentamos um estudo de validade de construto (construct validity) de pipelines automáticos de avaliação para Small Language Models (SLMs) em tarefas de programação em português. Utilizando o SLM Benchmark Kit como instrumento experimental, integramos execução local via Ollama, avaliação automática com múltiplos juízes, avaliação humana cega e análise estatística com Welch, tamanho de efeito, intervalo de confiança bootstrap e regressão OLS com erros robustos. Em um experimento com 1296 execuções, comparamos os modelos Qwen2.5-Coder:1.5B e DeepSeek-Coder:1.3B e observamos diferença estatisticamente significativa entre médias (Cohen’s d = →0, 440, tamanho de efeito pequeno a médio). Observamos baixa concordância entre juízes automáticos (Spearman ↑ 0, 302) e descolamento expressivo entre avaliação automática e consenso humano (Spearman = 0,286; MAE = 2,35 pontos), evidenciando superestimação sistemática dos juízes automáticos. Em contraste, a concordância entre avaliadores humanos foi excelente (ωw entre 0,966 e 1,000). Os resultados indicam que desempenho médio e significância estatística, isoladamente, são insuficientes para sustentar inferência robusta quando o pipeline apresenta degradação de juiz, baixa calibração automático versus humano e escores automáticos sistematicamente superestimados.

Descrição

Áreas do conhecimento (CNPq)

CIENCIAS EXATAS E DA TERRA::MATEMATICA

Referência

ZIMMERMANN, Ricardo César. Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto. 2026. 20 f. Trabalho de Conclusão de Curso (Especialização em Matemática, Educação e Tecnologias) - Instituto Federal de Educação, Ciência e Tecnologia de Brasília - Campus Estrutural, Brasília, 2026.

Agência de fomento

Link externo

Link multimídia