O CRIAR oferece plataformas de teste robustas para avaliar o desempenho de modelos de IA em dispositivos móveis, com foco em resultados detalhados e comparáveis. Nossos benchmarks testam modelos de IA nesses dispositivos e fornecem medições consistentes de tempo de inferência e consumo de recursos. Avaliamos a velocidade de inferência de modelos essenciais de aprendizado profundo para aplicações de visão computacional, em tarefas como detecção e classificação de objetos, segmentação semântica, análise e aprimoramento de imagens e vídeos, estimativa de profundidade e de pose. Também validamos a capacidade dos dispositivos de executar tanto modelos de visão computacional quanto modelos modernos de LLMs em diferentes configurações de resolução e precisão.

As plataformas desenvolvidas pelo CRIAR verificam a viabilidade de rodar modelos grandes, como o Gemma 2 (cerca de 2 bilhões de parâmetros), e expõem de forma clara as capacidades e limitações do hardware para diferentes implementações. Avaliamos taxa de interpretação e inferência de tokens, uso de memória e consumo de energia, tanto para modelos grandes quanto para modelos menores. As avaliações passam por atualizações constantes com base nos principais modelos de última geração, o que garante medições precisas e confiáveis do desempenho dos dispositivos e oferece subsídios concretos para orientar decisões tecnológicas e otimizar o uso de IA na sua infraestrutura.