Capacitação das organizações baseadas em dados com o Cloudera Flow Management 4 (com tecnologia Apache NiFi 2.0)
O Apache NiFi é, há muito tempo, um pilar da engenharia de dados, oferecendo uma estrutura poderosa e flexível para a ingestão de dados, transformação e distribuição de dados. Como um dos principais colaboradores do NiFi, a Cloudera tem sido fundamental no impulsionamento da sua evolução e adoção. Com o recente lançamento do Cloudera Flow Management 4.0 em Technical Preview como a primeira versão do Cloudera Flow Management baseada em NiFi 2.0, temos o prazer de apresentar as capacidades aprimoradas e como a Cloudera continua liderando o caminho no gerenciamento de fluxo de dados.
O Valor do NiFi 2.0 e do Cloudera Flow Management 4.0
O Cloudera Flow Management 4.0 (com tecnologia Apache NiFi 2.0) apresenta melhorias consideráveis:
Desempenho Aprimorado: o NiFi 2.0 apresenta aprimoramentos significativos de desempenho, lidando com fluxos de dados com mais eficiência e escalando para cargas de trabalho maiores. Esses aprimoramentos oferecem aos usuários mais poder e confiança para ingerir, processar e distribuir conjuntos de dados maiores e mais complexos.
Desenvolvimento simplificado: a nova interface de tela de fluxo e a funcionalidade aprimorada de arrastar e soltar tornam o desenvolvimento de fluxo mais rápido e mais intuitivo. Isso reduz consideravelmente o tempo de desenvolvimento de fluxos, levando a economias de custos.
Segurança avançada: o NiFi 2.0 introduz recursos de segurança aprimorados, incluindo mecanismos melhorados de criptografia e autenticação. Isso proporciona mais confiança em um sistema seguro e confiável para o processamento de dados sensíveis.
Integrações expandidas: O NiFi 2.0 integra-se perfeitamente a uma gama mais ampla de fontes de dados e sistemas, ampliando sua aplicabilidade em diversos casos de uso. O Cloudera Flow Management 4.0 retém especificamente componentes para suportar integrações com aplicativos na Cloudera, onde muitos componentes, como Hive e Accumulo, foram removidos no Apache NiFi 2.0. Além disso, o Cloudera Flow Management 4.0 conta com novas integrações, como as capacidades de Captura de Dados de Alteração (CDC) para sistemas de banco de dados relacionais, bem como para o Iceberg. Isso permite que os usuários projetem seus próprios sistemas de ponta a ponta utilizando aplicativos da Cloudera e sistemas externos.
Desenvolvimento de processador Python Nativo: O NiFi 2.0 oferece um SDK Python para o qual os processadores podem ser rapidamente desenvolvidos em Python e implantados em fluxos. Há alguns processadores comuns de análise de documentos programados em Python incluídos na versão. O Cloudera Flow Management 4.0 adiciona especificamente componentes para incorporação de dados, ingestão em bancos de dados vetoriais, acionamento de vários sistemas de IA generativa e trabalho com Grandes Modelos de Linguagem (LLMs) via Amazon Bedrock. Isso proporciona aos usuários um conjunto impressionante de capacidades de IA generativa para capacitar seus casos de negócios.
Práticas recomendadas em design de fluxo: O NiFi 2.0 oferece um sistema de regras para desenvolver regras de análise de fluxo que recomendam e aplicam as melhores práticas para o design de fluxo. O Cloudera Flow Management 4.0 oferece várias regras de análise de fluxo para aspectos como gerenciamento de threads e componentes recomendados. Os administradores do Cloudera Flow Management podem utilizá-los para assegurar fluxos bem projetados e robustos para seus casos de uso.
Cloudera e NiFi - Suporte Contínuo, Inovação e Migração Simplificada
A Cloudera tem sido uma força motriz por trás do desenvolvimento do NiFi, contribuindo ativamente na sua comunidade de código aberto e oferecendo orientação especializada aos usuários. A Cloudera investiu fortemente no NiFi, assegurando sua evolução contínua e sua relevância no cenário de dados em constante mudança.
Nosso compromisso com a NiFi é evidente em nossas iniciativas. Participamos ativamente da comunidade Apache NiFi, compartilhando conhecimento, práticas recomendadas e oferecendo suporte aos usuários por meio de listas de discussão, fóruns e eventos. Além das contribuições da comunidade, o Cloudera Flow Management Operator possibilita que os clientes implantem e gerenciem clusters NiFi e instâncias do NiFi Registry em plataformas de aplicativos Kubernetes. O Cloudera Flow Management Operator simplifica a coleta, a transformação e a entrega de dados em todas as empresas. Utilizando a infraestrutura em contêineres, o operador simplifica a orquestração de fluxos de dados complexos.
A Cloudera é o único fornecedor com uma ferramenta de migração que simplifica o processo complexo e repetitivo de migração dos fluxos do Cloudera Flow Management do conjunto de componentes NiFi 1 para o conjunto NiFi 2. Para esses fins, a Cloudera oferece treinamento abrangente e serviços de consultoria para ajudar as organizações a aproveitar todo o potencial do NiFi.
Impulsionando o futuro do gerenciamento do fluxo de dados
Com o Cloudera Flow Management 4.0.0 (com tecnologia Apache NiFi 2.0), a Cloudera fortalece sua liderança no gerenciamento de fluxo de dados. Continuaremos investindo no desenvolvimento do NiFi, garantindo que continue sendo uma ferramenta poderosa e confiável para engenheiros e cientistas de dados. Além disso, a Cloudera oferece implantações baseadas na nuvem do Cloudera Flow Management, otimizando sua eficiência operacional e permitindo que você escale para o nível empresarial com confiança. Os recursos que permitem, integram e aprimoram suas soluções baseadas em IA são o foco central do Cloudera Flow Management. Também continuamos oferecendo suporte e orientação aos nossos clientes, ajudando-os a utilizar todo o poder do NiFi para impulsionar iniciativas de dados essenciais para os negócios.
Saiba mais:
Para explorar os novos recursos do Cloudera Flow Management e descobrir como ele pode transformar seus pipelines de dados, veja mais informações aqui:
