Este blog é o último de uma série de três partes: a primeira parte aborda os conceitos básicos de computação de alto desempenho (HPC) e a segunda parte aborda a importância de um data lakehouse soberano.
A vantagem da Cloudera para HPC e IA soberana
Embora um data lakehouse por si só não ofereça suporte à HPC, já que simulações de HPC exigem uma plataforma tecnológica substancialmente diferente, ele é o complemento ideal para operacionalizar uma estratégia focada em ROM, oferecendo recursos essenciais, como MLOps estruturado, suporte a experimentos, arquivamento de dados com bom custo-benefício, acesso simplificado, toolchain de colaboração e muito mais.
A Cloudera conecta de forma única a lacuna entre dados de física especializados em escala massiva (HPC) e os requisitos ágeis do treinamento moderno de IA (MLOps). Ao oferecer uma arquitetura independente de nuvem e pronta para soberania, ela garante conformidade e oferece às empresas um caminho seguro e viável para operacionalizar ROMs.
A Cloudera apoia essa convergência por meio dos seguintes recursos específicos:
1. Tratamento de dados em escala com controle soberano
O desafio: como mencionado acima, armazenar e gerenciar petabytes de snapshots históricos de modelo de ordem completa (FOM) costuma ser caro e complexo no armazenamento tradicional. No entanto, os engenheiros também precisam de uma forma de ingerir, transformar e arquivar esses grandes conjuntos de dados com governança rigorosa, mantendo a "Soberania Operacional", garantindo assim que os dados nunca saiam da jurisdição desejada.
A Solução Cloudera:
Cloudera DataFlow: funcionando como mecanismo universal de ingestão, o Cloudera DataFlow permite que os engenheiros criem pipelines multimodais com uma experiência sem código em um ambiente colaborativo. Ele pode ingerir arquivos brutos de solucionadores, como logs de CFD/FEA, transformar dados não estruturados em recursos estruturados e armazená-los diretamente no Object Storage do data lakehouse, Cloudera Object Storage baseado no Apache Ozone, para facilitar o acesso quando for necessário treinar ou retreinar ROMs.
Proveniência e auditoria: fundamentalmente, o DataFlow oferece linhagem e proveniência de dados integradas. Isso garante que cada "recurso" usado para treinar um ROM possa ser rastreado até o arquivo de origem original, oferecendo a trilha de auditoria necessária para engenharia crítica para a segurança.
Em seguida, o Cloudera SDX oferece um ponto unificado de definição e aplicação de políticas de autorização em todos os serviços de dados e IA, mantendo assim uma visão centralizada para garantir que o acesso à propriedade intelectual confidencial contida nos conjuntos de dados de FOMs e nos recursos de ROMs esteja sob controle.
2. Precisão e reutilização: acompanhamento de experimentos de ML pela equipe
O desafio: desenvolver ROMs precisos envolve centenas de iterações. Sem um sistema central de registro, as equipes de P&D enfrentam um "caos de versões", perdendo o controle sobre quais hiperparâmetros ou conjuntos de dados produziram os melhores resultados.
Solução da Cloudera:
Cloudera AI Workbench: esse serviço oferece um ambiente colaborativo com notebooks como serviço baseados em código aberto e protegidos (Jupyter). Para aumentar ainda mais a produtividade dos desenvolvedores, o Workbench oferece a flexibilidade de usar editores de terceiros de sua preferência, incluindo VS Code, PyCharm e RStudio, seja no navegador ou como IDEs locais conectadas aos recursos computacionais do Workbench. Além disso, o Workbench integra-se nativamente ao MLflow, permitindo que os usuários criem uma "fonte única da verdade" documentada para cada projeto de ROM, registrando os hiperparâmetros, as métricas de avaliação e as versões dos conjuntos de dados de treinamento utilizados em cada versão específica de um modelo de IA produzido por qualquer equipe. Isso promove visibilidade e reutilização, permitindo que diferentes equipes adaptem facilmente uma arquitetura de modelo com base em sua expertise específica.
3. Experiência de PaaS semelhante à nuvem com custos previsíveis
O desafio: as equipes de P&D precisam de acesso imediato a recursos computacionais não apenas para treinamento iterativo, mas também para inferência de modelos de IA em nível de produção. Os serviços de inferência em nuvem pública frequentemente levam ao "choque de tokens" ou a custos fora de controle devido a ciclos de inferência de alto volume. Por outro lado, a TI local muitas vezes não tem agilidade para provisionar recursos rapidamente.
A Solução Cloudera:
Arquitetura PaaS por design: construída sobre Kubernetes, a Cloudera oferece uma plataforma moderna e multi-tenant na qual serviços de dados e IA são provisionados pelos próprios usuários. A plataforma escala automaticamente de acordo com as demandas atuais da carga de trabalho, independentemente de estar sendo executada em um data center soberano ou em uma assinatura de nuvem privada.
Cloudera AI Inference Service: esse serviço, em particular, permite que os engenheiros implantem versões de modelos, juntamente com APIs REST padrão para uso imediato em produção. Como ele é executado em infraestrutura própria, o modelo de cobrança é baseado em horas de computação (por GPU/CPU), e não "por token". Isso permite consolidar dezenas de modelos diferentes em um único cluster, gerando economias de escala significativas para cargas de trabalho de engenharia de alto volume.
4. o data center para o mundo físico: implantação no edge
O desafio: o valor final de um ROM costuma ser percebido fora do data center, incorporado a uma linha de produção ou a um controlador de usina para manutenção preventiva em tempo real.
A Solução Cloudera:
Cloudera Edge Management: esse serviço permite que os usuários criem e implantem pipelines de dados que incluem inferência de modelos "em processo" diretamente na infraestrutura de edge. Com uma interface visual sem código, os engenheiros podem distribuir seus ROMs treinados para frotas de agentes remotos, fechando o ciclo entre o gêmeo digital e o ativo físico.
5. Preparação para o futuro por meio de padrões abertos
O desafio: os ciclos de vida da engenharia são medidos em décadas. Ferramentas proprietárias ou formatos fechados de nuvem criam riscos inaceitáveis de dependência de fornecedor para dados de produtos de longo prazo.
A Solução Cloudera:
Núcleo de código aberto: toda a plataforma de dados e IA da Cloudera é desenvolvida com base em tecnologias abertas da comunidade, como Apache Nifi, Apache Spark, Apache Iceberg, Apache Ozone, CNCF Kubernetes e outras.
Experiência aprimorada: ao envolver esses padrões em um plano de controle unificado, seguro e fácil de usar, a Cloudera conecta a liberdade do código aberto à facilidade de uso esperada de uma plataforma moderna de nuvem. Isso garante que sua propriedade intelectual crítica permaneça sempre portátil e acessível.
E o mais importante: soberania fim-a-fim sem concessões
Diferente de outras plataformas de data lakehouse concorrentes no mercado, que muitas vezes fragmentam o ciclo de vida entre armazenamento proprietário e computação de terceiros ou obrigam a escolher apenas o formato da nuvem pública, a Cloudera oferece todos os recursos acima em uma única plataforma unificada.
A Cloudera combina essa experiência moderna e centrada em PaaS com a flexibilidade exclusiva de implantar toda a plataforma em um data center totalmente soberano. Na prática, isso permite que clientes de manufatura avançada que atuam em mercados regulados ou projetos estrategicamente sensíveis executem uma estratégia de ia de ponta no ambiente mais seguro possível, atendendo aos requisitos mais rigorosos de residência de dados e soberania operacional.
Próximas etapas
O futuro da HPC e da IA empresarial é soberano, aberto e unificado operacionalmente, e esse futuro é construído sobre a Cloudera. Nossa plataforma Private AI Anywhere, que é executada em qualquer nuvem e data center, oferece controle governado de ponta a ponta sobre todos os dados, modelos, agentes e inferências essenciais, garantindo soberania, conformidade regulatória e valor comercial comprovado em escala.
