Close Menu
Visão NacionalVisão Nacional
    What's Hot

    Piso Tátil Direcional | Guia de Instalação e Normas

    22/05/2025

    Armas de fogo no Brasil: conheça as diferenças entre posse e porte

    06/05/2025

    Como instalar calhas corretamente

    06/05/2025
    Facebook X (Twitter) Instagram
    sexta-feira, maio 23
    EM DESTAQUE
    • Piso Tátil Direcional | Guia de Instalação e Normas
    • Armas de fogo no Brasil: conheça as diferenças entre posse e porte
    • Como instalar calhas corretamente
    • Móveis planejados para otimizar espaços compactos
    • Estratégias de CRM para fidelização
    • Como são realizados os sorteios no Jogo do Bicho
    • A Importância das Mensagens Positivas na Saúde Mental
    • O que é futebol de sabão: diversão e movimento em equipe
    Visão Nacional
    • POLÍTICA
    • SAÚDE
    • NEGÓCIOS
    • AGRO
    • CULTURA
    • DIVERSOS
    • ECONOMIA
    • EDUCAÇÃO
    • ESPORTE
    • TEMPO
    • ENTRETENIMENTO
    Visão NacionalVisão Nacional
    Home»TECNOLOGIA»NVIDIA Blackwell define novo padrão para IA generativa na estreia da inferência MLPerf
    TECNOLOGIA

    NVIDIA Blackwell define novo padrão para IA generativa na estreia da inferência MLPerf

    29/08/202400
    Facebook Twitter Pinterest LinkedIn WhatsApp Reddit Tumblr Email
    Compartilhar
    Facebook Twitter LinkedIn Pinterest Email

    À medida que as empresas correm para adotar a IA generativa e lançar novos serviços no mercado, as demandas por infraestrutura de data center nunca foram tão grandes. O treinamento de grandes modelos de linguagem (LLM) é um desafio, mas o fornecimento de serviços em tempo real alimentados por LLM é outro.
    Na última rodada de benchmarks do setor MLPerf, a Inference v4.1, as plataformas NVIDIA apresentaram desempenho líder em todos os testes de data center. O primeiro envio da futura plataforma NVIDIA Blackwell revelou até 4 vezes mais desempenho do que a GPU NVIDIA H100 Tensor Core na maior carga de trabalho LLM do MLPerf, Llama 2 70B, graças ao uso de um Transformer Engine de segunda geração e FP4 Tensor Cores.
    A GPU NVIDIA H200 Tensor Core apresentou excelentes resultados em todos os benchmarks da categoria de data center, incluindo a mais recente adição ao benchmark, o LLM Mixtral 8x7B mix of experts (MoE), que apresenta um total de 46,7 bilhões de parâmetros, com 12,9 bilhões de parâmetros ativos por token.
    Os modelos MoE ganharam popularidade como uma forma de trazer mais versatilidade às implantações de LLM, pois são capazes de responder a uma ampla variedade de perguntas e executar tarefas mais diversas em uma única implantação. Eles também são mais eficientes, pois ativam apenas alguns especialistas por inferência, o que significa que fornecem resultados muito mais rapidamente do que os modelos densos de tamanho semelhante.
    O crescimento contínuo dos LLMs está gerando a necessidade de mais computação para processar solicitações de inferência. Para atender aos requisitos de latência em tempo real para atender aos LLMs atuais, e fazê-lo para o maior número possível de usuários, a computação multi-GPU é uma necessidade. O NVIDIA NVLink e o NVSwitch fornecem comunicação de alta largura de banda entre GPUs com base na arquitetura NVIDIA Hopper e proporcionam benefícios significativos para a inferência de modelos grandes em tempo real e econômica. A plataforma Blackwell ampliará ainda mais os recursos do NVLink Switch com domínios NVLink maiores com 72 GPUs.
    Além dos envios da NVIDIA, 10 parceiros da NVIDIA – ASUSTek, Cisco, Dell Technologies, Fujitsu, Giga Computing, Hewlett Packard Enterprise (HPE), Juniper Networks, Lenovo, Quanta Cloud Technology e Supermicro – todos fizeram envios sólidos de inferência MLPerf, ressaltando a ampla disponibilidade das plataformas NVIDIA.
    “Estamos extremamente felizes por alcançar esse resultado notável no MLPerf, isso demonstra que as plataformas da NVIDIA apresentam um desempenho líder em todos os setores de data center. Isso contribui significativamente para fortalecer ainda mais nossa posição neste cenário além de tornar o trabalho mais eficiente para as empresas”, comemora Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
    Inovação implacável de software
    As plataformas NVIDIA passam por um desenvolvimento contínuo de software, acumulando melhorias de desempenho e de recursos mensalmente. Na rodada de inferência mais recente, as ofertas da NVIDIA, incluindo a arquitetura NVIDIA Hopper, a plataforma NVIDIA Jetson e o servidor de inferência NVIDIA Triton, tiveram um grande aumento no desempenho.
    A GPU NVIDIA H200 forneceu até 27% mais desempenho de inferência de IA generativa em relação à rodada anterior, ressaltando o valor agregado que os clientes obtêm ao longo do tempo com seu investimento na plataforma NVIDIA.
    O Servidor de Inferência Triton, parte da plataforma NVIDIA AI e disponível com o software NVIDIA AI Enterprise, é um servidor de inferência de código aberto completo que ajuda as organizações a consolidar servidores de inferência específicos do framework em uma plataforma única e unificada. Isso ajuda a reduzir o custo total de propriedade de servir modelos de IA na produção e reduz o tempo de implantação do modelo de meses para minutos.
    Nesta rodada do MLPerf, o servidor de inferência Triton apresentou desempenho quase igual ao dos envios bare-metal da NVIDIA, mostrando que as organizações não precisam mais escolher entre usar um servidor de inferência de IA de nível de produção rico em recursos e obter desempenho de rendimento máximo.
    Indo para o edge
    Implantados no edge, os modelos de IA generativa podem transformar dados de sensores, como imagens e vídeos, em insights acionáveis em tempo real com forte consciência contextual. A plataforma NVIDIA Jetson para IA e robótica no edge é capaz de executar qualquer tipo de modelo localmente, incluindo LLMs, transformadores de visão e difusão estável.
    Nesta rodada de benchmarks MLPerf, os módulos do sistema NVIDIA Jetson AGX Orin alcançaram mais de 6,2 vezes de melhoria na taxa de transferência e 2,4 vezes de melhoria na latência em relação à rodada anterior na carga de trabalho GPT-J LLM. Em vez de desenvolver para um caso de uso específico, os desenvolvedores agora podem usar esse modelo de 6 bilhões de parâmetros de uso geral para interagir perfeitamente com a linguagem humana, transformando a IA generativa no edge.
    Liderança de desempenho em todos os aspectos
    Esta rodada do MLPerf Inference mostrou a versatilidade e o desempenho líder das plataformas NVIDIA – que se estendem do data center ao edge – em todas as cargas de trabalho do benchmark, sobrecarregando os aplicações e serviços mais inovadores com tecnologia de IA. Para saber mais sobre esses resultados, consulte nosso blog técnico.
    Os sistemas H200 equipados com GPU estão disponíveis hoje na CoreWeave – o primeiro provedor de serviços em nuvem a anunciar a disponibilidade geral – e nos fabricantes de servidores ASUS, Dell Technologies, HPE, QTC e Supermicro.
    Consulte o aviso sobre as informações do produto de software.
    Sobre a NVIDIA
    Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de games para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de infraestrutura de computação full-stack com soluções em escala de data center que estão revolucionando o setor. Mais informações em: https://www.nvidia.com/pt-br/.
    Acesse também:
    Facebook: @NVIDIABrasil
    Twitter: @NVIDIABrasil
    YouTube: NVIDIA Latinoamérica
    Instagram: @NVIDIABrasil
     

    Notícia distribuída pela saladanoticia.com.br. A Plataforma e Veículo não são responsáveis pelo conteúdo publicado, estes são assumidos pelo Autor(a):
    LUIZ FERNANDO VALLOTO
    [email protected]

    Compartilhar Facebook Twitter Pinterest LinkedIn Tumblr Telegram Email

    Assuntos Relacionados

    Como são realizados os sorteios no Jogo do Bicho

    14/04/2025

    Como o PancakeSwap facilita a troca de tokens e proporciona liquidez no ecossistema DeFi?

    18/03/2025

    O Toner Impressora HP é bom?

    09/12/2024
    EM DESTAQUE

    Resgate de receitas de família vira tema de aula e conclusão de curso

    04/02/20240

    SP inaugura acolhimento para migrantes e zera número de afegãos acampados em Cumbica

    04/04/20240

    SP promove seminário de atendimento à mulher PcD vítima de violência em Santos

    01/12/20230

    Novidade! Zepa lança “Love Premiado”

    22/01/20240

    Raposo Shopping disponibiliza vagas especiais para autistas no estacionamento

    07/05/20240
    QUEM SOMOS
    QUEM SOMOS

    Site de Notícias e Opinião

    EM DESTAQUE

    Armas de fogo no Brasil: conheça as diferenças entre posse e porte

    06/05/2025

    Estratégias de CRM para fidelização

    01/05/2025

    Como saber se meu tênis da Öus é original?

    17/01/2025
    CONTATO

    [email protected]

    © 2025 Visão Nacional.

    Type above and press Enter to search. Press Esc to cancel.