← Laboratório IBeGI · Protótipo experimental — Laboratório IBeGI

Observatório de Modelos de IA

Uma leitura visual da relação entre resultado no índice e custo por tarefa dos modelos acompanhados, com dados produzidos pela Artificial Analysis e curadoria do IBeGI.

Ferramenta experimental — acesso por convite Dados, índices, benchmarks, avaliações e metodologia são produzidos pela Artificial Analysis. O IBeGI seleciona os modelos, organiza as informações, explica as métricas em português e apresenta a interface interativa. Esta prova de conceito não constitui benchmark desenvolvido pelo IBeGI nem recomendação de uso ou contratação de modelos.
Legenda

Dados: Artificial Analysis Intelligence Index disponível na base · Fonte: Artificial Analysis · Dados atualizados em: disponível na base

Fonte: Artificial Analysis Intelligence Index disponível na base

Como interpretar

Modelos mais acima apresentam maior resultado no Artificial Analysis Intelligence Index. Modelos mais à esquerda apresentam menor Cost per Task nas condições do benchmark. A região superior esquerda reúne, dentro da comparação selecionada, maior resultado no índice e menor custo por tarefa.

A posição no gráfico não representa recomendação automática. Finalidade, idioma, privacidade, velocidade, disponibilidade, integração e janela de contexto também podem ser relevantes.

Sobre as métricas

O Artificial Analysis Intelligence Index é um índice composto criado pela Artificial Analysis para comparar modelos em diferentes avaliações. Não é medida absoluta de inteligência nem indica, isoladamente, o modelo mais adequado para todas as aplicações.

Cost per Task representa o custo médio ponderado, em dólares, para realizar uma tarefa no conjunto de avaliações do índice. Não representa necessariamente o custo de uma tarefa específica de um usuário ou empresa.

Todos os modelos

Colunas exibidas
Nenhum modelo selecionado
Fonte, metodologia e condições de uso

O IBeGI não possui, nesta fase experimental, parceria, patrocínio ou afiliação com a Artificial Analysis. A Artificial Analysis não participou do desenvolvimento desta interface e não patrocina, aprova ou endossa esta prova de conceito.

© Artificial Analysis — direitos sobre os dados, índices, benchmarks e metodologia. A organização, os textos explicativos e a interface desta prova de conceito são de responsabilidade do IBeGI.

Artificial Analysis · Artificial Analysis — Intelligence Benchmarking · Artificial Analysis — Terms of Use