À medida que os modelos de IA evoluem e a adoção aumentam, as empresas devem executar uma delicada ato de equilíbrio para alcançar o valor máximo.
Isso porque a inferência – o processo de execução de dados por meio de um modelo para obter uma saída – oferece um desafio computacional diferente do que treinar um modelo.
Pré -treinar um modelo – O processo de ingestão de dados, dividindo -os em Tokens E encontrar padrões-é essencialmente um custo único. Mas, em inferência, todo immediate a um modelo gera tokens, cada um dos quais incorra um custo.
Isso significa que, como o desempenho do modelo de IA e o uso aumenta, o mesmo acontece com a quantidade de tokens gerados e seus custos computacionais associados. Para as empresas que desejam criar recursos de IA, a chave está gerando o maior número possível de tokens – com velocidade máxima, precisão e qualidade de serviço – sem enviar custos computacionais disparando.
Como tal, o ecossistema de IA tem trabalhado para tornar a inferência mais barata e mais eficiente. Os custos de inferência foram tendentes no ano passado, graças aos grandes saltos na otimização de modelos, levando a infraestrutura de computação acelerada cada vez mais avançada e com eficiência energética e soluções de pilha completa.
De acordo com o Instituto da Universidade de Stanford de IA centrada em humanos 2025 Relatório de índice de IA“O custo de inferência para um sistema com desempenho no nível do GPT-3,5 caiu mais de 280 vezes entre novembro de 2022 e outubro de 2024. No nível do {hardware}, os custos caíram 30% anualmente, enquanto a eficiência energética melhorou 40% a cada ano. as barreiras à IA avançada. ”
À medida que os modelos evoluem e geram mais demanda e criam mais tokens, as empresas precisam escalar seus recursos acelerados de computação para fornecer a próxima geração de ferramentas de raciocínio de IA ou correr o risco de custos e consumo de energia.
O que se segue é uma cartilha para entender os conceitos da economia da inferência, as empresas podem se posicionar para obter soluções de IA eficientes, econômicas e lucrativas em escala.
Terminologia -chave para a economia da inferência da IA
O conhecimento dos termos -chave da economia da inferência ajuda a definir a base para entender sua importância.
Tokens são a unidade elementary de dados em um modelo de IA. Eles são derivados de dados durante o treinamento como texto, imagens, clipes de áudio e vídeos. Através de um processo chamado tokenização, cada peça de dados é dividida em unidades constituintes menores. Durante o treinamento, o modelo aprende as relações entre os tokens para que ele possa executar a inferência e gerar uma saída precisa e relevante.
Taxa de transferência Refere -se à quantidade de dados – normalmente medidos em tokens – que o modelo pode ser lançado em uma quantidade específica de tempo, que por si só é uma função da infraestrutura que executa o modelo. A taxa de transferência é frequentemente medida em tokens por segundo, com maior taxa de transferência significa maior retorno da infraestrutura.
Latência é uma medida da quantidade de tempo entre a entrada de um immediate e o início da resposta do modelo. Latência mais baixa significa respostas mais rápidas. As duas principais maneiras de medir a latência são:
- Hora de primeiro token: Uma medição do tempo inicial de processamento exigido pelo modelo para gerar seu primeiro token de saída após um immediate de usuário.
- Tempo por token de saída: O tempo médio entre os tokens consecutivos – ou o tempo necessário para gerar um token de conclusão para cada usuário consultar o modelo ao mesmo tempo. Também é conhecido como “latência entre toques” ou latência token-to-token.
Hora de primeiro token e tempo por token de saída são benchmarks úteis, mas são apenas duas peças de uma equação maior. Focar apenas neles ainda pode levar a uma deterioração de desempenho ou custo.
Para explicar outras interdependências, os líderes de TI estão começando a medir “Goodput”, Que é definido como a taxa de transferência alcançada por um sistema, mantendo o tempo -alvo para o primeiro token e o tempo por níveis de token de saída. Essa métrica permite que as organizações avaliem o desempenho de uma maneira mais holística, garantindo que a taxa de transferência, latência e custo estejam alinhados para apoiar a eficiência operacional e uma experiência excepcional.
Eficiência energética é a medida de quão efetivamente um sistema de IA converte energia em saída computacional, expressa como desempenho por watt. Ao usar plataformas de computação acelerada, as organizações podem maximizar os tokens por watt, minimizando o consumo de energia.
Como as leis de escala se aplicam ao custo de inferência
O Três leis de escala de IA também são essenciais para entender a economia da inferência:
- Escala de pré -treinamento: A lei de escala unique que demonstrou que, aumentando o tamanho do conjunto de dados de treinamento, a contagem de parâmetros do modelo e os recursos computacionais, os modelos podem obter melhorias previsíveis na inteligência e precisão.
- Pós-treinamento: Um processo em que os modelos são ajustados para precisão e especificidade para que possam ser aplicados ao desenvolvimento de aplicativos. Técnicas como Geração de recuperação une a geração pode ser usado para retornar respostas mais relevantes de um banco de dados corporativo.
- Escala de tempo de teste (também conhecida como “pensamento longo” ou “raciocínio”): Uma técnica pela qual os modelos alocam recursos computacionais adicionais durante a inferência para avaliar vários resultados possíveis antes de chegar à melhor resposta.
Enquanto a IA está evoluindo e as técnicas de escala pós-treinamento e no tempo de teste se tornam mais sofisticadas, o pré-treinamento não está desaparecendo e continua sendo uma maneira importante de escalar modelos. Ainda será necessário pré-treinamento para apoiar a escala pós-treinamento e no tempo de teste.
A IA lucrativa adota uma abordagem de pilha completa
Em comparação com a inferência de um modelo que só passou por pré-treinamento e pós-treinamento, modelos que o escala de tempo de teste de tempo de teste geram vários tokens para resolver um problema complexo. Isso resulta em saídas de modelo mais precisas e relevantes – mas também é muito mais caro computacionalmente caro.
https://www.youtube.com/watch?v=v8scni68w6u
Ai mais inteligente significa gerar mais tokens para resolver um problema. E uma experiência de usuário de qualidade significa gerar esses tokens o mais rápido possível. Quanto mais inteligente e rápido um modelo de IA for, mais utilidade terá para empresas e clientes.
As empresas precisam escalar seus recursos de computação acelerada para fornecer a próxima geração de ferramentas de raciocínio de IA que podem suportar a solução complexa de resolução de problemas, codificação e planejamento de vários etapas sem os custos disparados.
Isso requer {hardware} avançado e uma pilha de software program totalmente otimizada. Roteiro de produtos de fábrica de AI da NVIDIA foi projetado para atender a demanda computacional e ajudar a resolver a complexidade da inferência, enquanto obtém maior eficiência.
Fábricas da AI Integre a infraestrutura de IA de alto desempenho, redes de alta velocidade e software program otimizado para produzir inteligência em escala. Esses componentes são projetados para serem flexíveis e programáveis, permitindo que as empresas priorizem as áreas mais críticas para seus modelos ou necessidades de inferência.
Para otimizar ainda mais as operações ao implantar modelos maciços de raciocínio de IA, as fábricas de IA são executadas em um alto desempenho e baixa latência Sistema de Gerenciamento de Inferências Isso garante que a velocidade e a taxa de transferência necessários para o raciocínio da IA sejam atendidos com o menor custo possível para maximizar a geração de receita de token.
Saiba mais lendo o e -book “Inferência da AI: Balanceamento, Latência e Desempenho. ”