Pipelines automáticos de avaliação de SLMS em código em português: Estudo de validade de construto
Data da publicação
Data da defesa
Permissão de acesso
Autoria
Orientador(a)
Lattes do Orientador
Diretor
Roteirista
Produtor executivo
Título da Revista
ISSN da Revista
Título de Volume
Título do periódico
Volume do periódico
Número da edição do periódico
Página inicial
Página final
Título do Evento
Número da edição do Evento
Nome da instituição
Editora
Local de edição
Campus
Departamento
DOI
ISBN
ISSN
ISMN
Outros identificadores
Resumo
Apresentamos um estudo de validade de construto (construct validity) de pipelines automáticos de avaliação para Small Language Models (SLMs) em tarefas de programação em português. Utilizando o SLM Benchmark Kit como instrumento experimental, integramos execução local via Ollama, avaliação automática com múltiplos juízes, avaliação humana cega e análise estatística com Welch, tamanho de efeito, intervalo de confiança bootstrap e regressão OLS com erros robustos. Em um experimento com 1296 execuções, comparamos os modelos Qwen2.5-Coder:1.5B e DeepSeek-Coder:1.3B e observamos diferença estatisticamente significativa entre médias (Cohen’s d = →0, 440, tamanho de efeito pequeno a médio). Observamos baixa concordância entre juízes automáticos (Spearman ↑ 0, 302) e descolamento expressivo entre avaliação automática e consenso humano (Spearman = 0,286; MAE = 2,35 pontos), evidenciando superestimação sistemática dos juízes automáticos. Em contraste, a concordância entre avaliadores humanos foi excelente (ωw entre 0,966 e 1,000). Os resultados indicam que desempenho médio e significância estatística, isoladamente, são insuficientes para sustentar inferência robusta quando o pipeline apresenta degradação de juiz, baixa calibração automático versus humano e escores automáticos sistematicamente superestimados.

