Pular para o conteúdo
Caramelo
Conversar

Releases

Histórico de versões do Caramelo. O modelo segue o esquema caramelo {geração-Gemma}.{tamanho}.{iteração}; uma versão só chega em produção depois de vencer, em avaliação cega, a versão que está no ar.

caramelo 4.4.1 em produção

Base Gemma 4 E4B com fine-tune LoRA na voz do Gui: respostas mais completas que a versão anterior, com qualidade e estilo aprovados em avaliação cega contra o próprio modelo base.

Relatório técnico →

Como usar

A tese que esta linha de modelos testa: treinar síntese e clareza (a voz do Gui) sobre bases abertas faz as versões aprovadas no portão executarem tarefas melhor que o próprio modelo base de que partiram, medido por juízes cegos.

vitória em A/B cego (%) · acima de 50%, a versão é preferida ao adversário 24 prompts held-out, dois juízes independentes · barra cheia: qualidade · traço fino: estilo · faixa = variação entre os juízes 0% 100% empate (50%) vs Gemma 3 4B, o modelo base 3.4.1 reprovada no portão qualidade 15% estilo 21% vs Gemma 3 4B, o modelo base 3.4.2 produção jun–jul 2026 qualidade 66–70% estilo 91–100% 4.4.1 em produção vs Gemma 4 E4B, o modelo base qualidade 91–100% estilo 100% vs caramelo 3.4.2, a produção anterior qualidade 87–91% estilo 79–87%
Cada versão é comparada, em teste cego com dois juízes, ao modelo base de que partiu (3.4.x contra Gemma 3 4B; 4.4.1 contra Gemma 4 E4B) e, no caso do 4.4.1, também contra a produção anterior. Não existe medição direta entre 3.4.2 e Gemma 4; as bases são de gerações diferentes.

Estados: em produção é a versão servida em ia-caramelo.com; substituída serviu em produção e foi superada pela versão seguinte no teste cego; reprovada no portão perdeu do próprio base na avaliação cega e nunca chegou a produção.