A Cloudera potencializa sua IA privada com Cloudera AI Inference, AI-Q NVIDIA Blueprint e NVIDIA NIM
Nas conversas com clientes sobre seus objetivos em IA, a Cloudera observa um problema recorrente: planos e implementações muitas vezes ficam paralisados por preocupações com privacidade. As organizações querem usar IA em todos os seus dados corporativos, pois essa é a forma de garantir que funcionários e clientes recebam resultados mais precisos. No entanto, percebem que não podem enviar seus dados para um endpoint público de um modelo de linguagem de grande porte (LLM) de código fechado, já que 1) o volume de dados é excessivo e 2) os dados deixariam de ser privados.
Para enfrentar essas preocupações, a Cloudera vem defendendo o conceito de IA privada, que permite aos clientes obter todos os benefícios da IA enquanto mantêm seus dados proprietários seguros e protegidos.
A NVIDIA está enfrentando o mesmo desafio, mas em um nível muito mais amplo: os Estados-nação Governos estão percebendo que não é de seu interesse executar IA em outro país e, por isso, estão trabalhando para construir a infraestrutura necessária para manter seus dados e suas aplicações de IA dentro de suas próprias fronteiras. Assim, podem controlar com quais países ou entidades compartilham seus dados ou resultados de IA.
Na conferência GTC Paris, a NVIDIA apresentou os blocos de construção para a Sovereign AI, com o objetivo de apoiar os governos nesse esforço Essa iniciativa está totalmente alinhada com o foco da Cloudera em permitir que seus clientes implementem suas próprias plataformas de IA privada.
A NVIDIA também fez outros dois anúncios de particular interesse para a Cloudera. Neste artigo, vamos analisar o modelo AI-Q da NVIDIA para pesquisa corporativa e o NVIDIA NIM, e o que eles representam para nossos clientes.
Modelo AI-Q NVIDIA com Cloudera AI
A introdução do modelo AI-Q pela NVIDIA para pesquisa corporativa fornece à Cloudera AI mais recursos para apoiar as complexas necessidades de agentic AI de seus clientes.
O Cloudera AI Inference pode hospedar todos os microsserviços de inferência NVIDIA NeMo Retriever e LLM que compõem o modelo AI-Q NVIDIA, incluindo os modelos de raciocínio NVIDIA Llama Nemotron. Ao combinar a forte privacidade e segurança fornecidas pela plataforma Cloudera AI para os endpoints de modelo com o poderoso kit de ferramentas NVIDIA Agent Intelligence, é possível levar suas aplicações corporativas de IA agêntica a um novo patamar.
Benefícios de usar o modelo AI-Q NVIDIA com a Cloudera AI
Aproveitar o modelo AI-Q NVIDIA dentro do serviço Cloudera AI Inference libera um enorme potencial de IA. Essa poderosa combinação integra os principais modelos de raciocínio, empacotados como NVIDIA NIM e microsserviços NeMo Retriever, na Cloudera AI, garantindo conectividade perfeita entre agentes, ferramentas e dados por meio de total compatibilidade com o kit de ferramentas NVIDIA Agent Intelligence.
Essa capacidade de vários frameworks permite que as organizações construam aplicações sofisticadas de geração aumentada por recuperação (RAG) corporativas, com robusta privacidade e segurança, aproveitando ao máximo os avanços mais recentes em IA.
Microserviço NVIDIA NIM com Cloudera AI Inference
O contêiner NIM da NVIDIA é um divisor de águas para obter o melhor desempenho de LLMs de forma rápida e simples: ele acelera significativamente a implantação e a inferência de LLMs ao selecionar automaticamente o melhor backend de inferência com base no modelo e no hardware de GPU, viabilizando uma solução de inferência independente de modelo que simplifica a produção de inúmeros LLMs de ponta.
De forma mais detalhada, o microsserviço NVIDIA NIM permite que os usuários implantem rapidamente LLMs acelerados pelo NVIDIA TensorRT-LLM, vLLM ou SGLang, obtendo inferência de alto nível em qualquer plataforma acelerada pela NVIDIA. Ele oferece suporte a modelos armazenados nos formatos Hugging Face ou TensorRT-LLM, viabilizando inferência em nível corporativo para uma ampla variedade de LLMs. Os usuários podem contar com padrões inteligentes para otimizar latência e throughput ou ajustar o desempenho com opções simples de configuração. Como parte do NVIDIA AI Enterprise, o microsserviço NVIDIA NIM recebe atualizações contínuas da NVIDIA, garantindo compatibilidade com uma ampla gama de LLMs populares.
Benefícios de usar o NVIDIA NIM com Cloudera AI Inference
O NVIDIA NIM oferece aos clientes da Cloudera mais flexibilidade sobre como aproveitar LLMs em suas aplicações de IA. O serviço Cloudera AI Inference já possui o NVIDIA NIM embutido, permitindo que os clientes implementem o microsserviço NVIDIA NIM de maneira rápida e fácil. Assim, os clientes obtêm todos os benefícios do NVIDIA NIM com a facilidade de uso, a segurança e o suporte simplificado de uma plataforma unificada: a Cloudera.
Por meio de sua integração perfeita em nosso serviço de inferência de IA, o microsserviço NVIDIA NIM oferece vantagens significativas para os clientes de Cloudera AI, incluindo:
Implantação acelerada: coloque suas aplicações de LLM em funcionamento mais rápido com contêineres pré-construídos e otimizados.
Desempenho aprimorado: aproveite todo o potencial da computação acelerada da NVIDIA para inferência em alta velocidade e menor latência.
Escalabilidade: expanda facilmente suas implantações de LLM para atender às demandas do crescimento do seu negócio.
Gestão simplificada: gerencie e monitore suas implantações de LLM com a interface intuitiva da Cloudera.
Conclusão
Juntas, a Cloudera e a NVIDIA permitem que empresas aproveitem os avanços mais recentes em IA de forma simples, eficiente e econômica em todos os seus dados, sejam públicos ou privados. Ao simplificar o ciclo de vida das aplicações de IA, do desenvolvimento à implantação, e ao otimizar o desempenho, ajudamos os clientes a liberar todo o potencial da IA.
Confira o blog da NVIDIA sobre os anúncios da GTC Paris e os blogs da Cloudera sobre IA, em especial o mais recente sobre “AI in a Box”, desenvolvido em parceria com Dell, NVIDIA e Cloudera, que oferece aos clientes uma nova maneira de implementar IA privada de forma rápida, simples e com risco mínimo.