Ouça três especialistas do setor enquanto eles revelam as tendências de dados e IA para 2025 

Assista agora

Saiba os detalhes sobre a versão Data-in-Motion do Kubernetes       Assista ao webinar

Visão geral

O que é Streaming?

O Cloudera Streaming (anteriormente conhecido como Cloudera Stream Processing) oferece recursos para analisar streaming de dados em padrões complexos e para ter informações acionáveis, permitindo que nossos clientes transformem streams em produtos de dados.

O Stream é uma solução completa de gerenciamento de streams e processamento stateful a nível corporativo. A junção do Kafka como camada de armazenamento de streaming, do Flink como mecanismo central de processamento de streaming e do suporte de alto nível para interfaces padrão do setor, como SQL e REST, permite que desenvolvedores, analistas de dados e cientistas de dados construam, de maneira fácil, pipelines de dados de streaming híbridas que fornecem tecnologia para produtos de dados em tempo real, painéis, aplicativos de business intelligence, microsserviços e blocos de notas de ciência de dados. 

Agora, casos de uso como detecção de fraudes, análise de ameaças de rede, inteligência de manufatura, otimização de comércio, ofertas em tempo real, aprovações de empréstimo instantâneas e muito mais são possíveis ao transferir os componentes de processamento de dados no stream para atender a essas necessidades em tempo real.

Pipelines de streaming de dados híbridos desenvolvidos pela Cloudara Streaming

Diagrama de pipelines de streaming híbrido | Cloudera

Casos de uso do Cloudera Streaming

  • Detecção de fraude
  • Análise do cliente
  • Monitoramento de mercado
  • Análise de Log

Detecção de fraude

Evite milhões de dólares perdidos por fraude financeira, detectando-a de forma proativa. 

Empresas de varejo, serviços financeiros e outros setores tentam de todas as maneiras proteger os dados dos clientes e evitar que fraudes financeiras aconteçam. Os recursos do Cloudera  Streaming podem processar streams em tempo real de transações de clientes, identificar padrões, criar alertas preventivos e inteligência acionável para evitar possíveis fraudes.

Logotipo do BRI Bank
PT Bank Rakyat Indonesia

Usando big data, IA e ML para entender melhor os clientes

Conseguiu uma redução de 40% em fraudes.

Leia a história do cliente

Análise do cliente

A análise de clientes em tempo real melhora o envolvimento, a retenção e a satisfação

Toda empresa precisa de análises em tempo real para melhorar o engajamento do cliente, mas tem dificuldades para implementá-las devido ao volume excessivo de dados. O Cloudera Streaming permite a análise do cliente processando grandes quantidades de dados com latências de milissegundos, ao mesmo tempo que detecta interações com os clientes e recomenda melhores ofertas em tempo real.

Grande companhia aérea

Melhorando a experiência do cliente com automação orientada por dados

Conseguiu uma diminuição do volume de dados de 50% pagando apenas os fluxos de dados para transmitir uma vez.

Leia a história do cliente

Monitoramento de mercado

Lide com milhões de negociações por segundo e escalone petabytes de informações financeiras.

As bolsas de valores enfrentam desafios com as demandas dos clientes por relatórios em tempo real e exigências de SLA mais rápidos. No entanto, é necessário processar petabytes de dados para fornecer esses serviços. O Streams Messaging do Cloudera pode facilmente transmitir grandes volumes de dados para que as bolsas de valores possam criar rapidamente análises em tempo real orientadas para o mercado e atender aos SLAs cada vez mais exigentes.

Logotipo da BSE Bombay Stock Exchange
Bombay Stock Exchange

A bolsa de valores mais rápida do mundo aproveita análises em tempo real para melhorar a governança de dados e os SLAs do setor

Redução de 95% nos custos operacionais.

Leia a história do cliente

Análise de Log

Modernize sua infraestrutura de registro para obter análises em tempo real.

Os dados de log são cada vez mais valiosos para as empresas. Mas as organizações de TI estão tendo dificuldades com processos eficazes de coleta de logs, distribuindo informações relevantes upstream e gerando métricas importantes. Os recursos do Cloudera Streaming ajudam a ampliar o processamento de registros, a fornecer insights em tempo real em toda a empresa e a reduzir significativamente os custos operacionais.

Logotipo da Globe
Globe Telecom

Facilitando o estilo de vida digital de clientes móveis com um ambiente analítico moderno

9600PB de volume de dados móveis gerenciados

Leia a história do cliente

Saiba os detalhes sobre a versão Data-in-Motion do Kubernetes

Recursos do Cloudera Streaming

  • Análise de Streaming com tecnologia do Apache Flink
  • Streams Messaging com tecnologia do Apache Kafka

Analítica de Streaming

Com tecnologia do Apache Flink com o SQL Stream Builder, o Cloudera Streaming Analytics fornece:

  • Recursos de processamento de streams de baixa latência 
  • Desenvolvimento simplificado ao permitir que os usuários escrevam aplicativos de streaming com SQL e APIS padrão do setor por meio de terminais REST
  • Técnicas avançadas de windowing para desenvolver análises sofisticadas com base em eventos
  • Suporte para modelos multinuvem e de nuvem híbrida

Principais recursos


SQL de streaming e APIs de dados duráveis

O Cloudera SQL Stream Builder é uma UI interativa e completa para criar trabalhos de processamento de streams stateful usando SQL, que é convertida em trabalhos otimizados do Flink. É possível declarar expressões que filtram, agregam, roteiam e modificam streams de dados com SQL. O SQL Stream Builder é uma interface de gerenciamento de trabalho que pode ser usada para compor e executar o SQL em streams, bem como para criar APIs de dados duráveis para os resultados.

Processamento exactly-once

Garanta que os dados sejam processados exatamente uma vez (em inglês, exactly once), mesmo durante erros e novas tentativas. Exemplo: uma empresa de serviços financeiros precisa usar o processamento de streams para coordenar diversos sistemas administrativos de transações quando os clientes pagam as parcelas dos seus empréstimos.

Operação em dados fora de ordem

Detecte e lide com eventos de streams que chegam fora de ordem. Exemplo: serviços de combate a fraudes em tempo real precisam garantir que os dados sejam processados na ordem correta, mesmo que cheguem atrasados.

Latência ultrabaixa

Alcance desempenho de processamento de streams one-at-a-time e in-memory. Exemplo: processe, com milissegundos de latência, solicitações de 30 milhões de usuários ativos que fazem pagamentos com cartão de crédito, transferências e pesquisas de saldo.

Acionamento stateful de eventos

Acione eventos ao lidar com centenas de fontes de streams e milhões de eventos por segundo por transmissão. Exemplo: quando um paciente dá entrada na emergência, o sistema entra em contato com sistemas externos a fim de extrair dados específicos do paciente de centenas de fontes para que estejam disponíveis em um prontuário eletrônico no momento em que o paciente chega ao consultório.

Convergência de batch e streaming

Streaming de dados só tem importância se for facilmente capaz de integrar, unir e combinar esses streams com outras fontes de dados em repouso, incluindo warehouses, bancos de dados relacionais e data lakes. Configure provedores de dados usando conectores prontos para uso ou usando seu próprio conector para qualquer fonte de dados. Quando os provedores de dados forem criados, o usuário pode criar tabelas virtuais usando DDL com facilidade. A integração complexa entre vários streams e fontes de dados em lote torna-se mais fácil com famosas construções SQL, como junções e agregações.

Mensagens de streams

Com tecnologia Apache Kafka, o Cloudera Streams Messaging fornece:

  • Gerenciador de mensagens de streams para monitorar/operar clusters
  • Streams Replication Manager para implantações de HA/DR
  • Schema Registry para gerenciamento centralizado de schema
  • Kafka Connect, proporcionando movimentação de dados simples, troca de captura de dados e Cruise Control para rebalanceamento automático e autorrecuperação
  • Suporte para modelos multinuvem e de nuvem híbrida

Principais recursos


Buffering de fluxo altamente escalonável

Oferece suporte a milhões de mensagens por segundo com baixa latência e alto rendimento, dimensionando de forma elástica e transparente sem tempo de inatividade. Aborda uma ampla gama de iniciativas de dados de streaming, permitindo que as empresas acompanhem a demanda dos clientes, forneçam melhores serviços e gerenciem proativamente os riscos.

Gerenciamento e monitoramento Kafka centralizado

O Streams Messaging Manager oferece um único painel de visualização com visibilidade completa sobre como os dados se movimentam entre clusters Kafka, entre produtores, brokers, tópicos e consumidores, permitindo que você rastreie a linhagem de dados e a governança do edge à nuvem. Ele também simplifica a solução de problemas de ambientes Kafka com filtragem e classificação inteligentes.

Resiliência a desastres e replicação

O Streams Replication Manager, baseado no Mirrormaker 2, oferece replicação de tópicos Kafka entre clusters tolerantes a falhas, escalonável e robusta, bem como monitoramento e métricas de replicação nos níveis de cluster e tópico. Oferece alta disponibilidade, recuperação de desastres, migrações de nuvem, geoproximidade e muitas outras opções.

Gerenciamento centralizado de esquemas

O Registro de Esquemas permite que você gerencie, compartilhe e ofereça suporte à evolução de todos os esquemas de produtores e clientes em um repositório de esquemas compartilhados que permite que os aplicativos interajam de forma flexível entre si em todo o cenário do Kafka. Diminua com segurança as interrupções que ocorrem devido a incompatibilidades do esquema.

Rebalanceamento automático e autorrecuperação

O Cruise Control permite gerenciar e equilibrar a carga de grandes instalações Kafka, além de detectar e corrigir automaticamente anomalias. Resolva problemas difíceis, como falhas frequentes de hardware/máquinas virtuais, expansão/redução de cluster e a distorção de carga entre os brokers.

Segurança e governança unificadas

O Cloudera SDX oferece segurança centralizada, políticas de controle, governança e linhagem de dados em todos os componentes. Eles são definidos uma vez e automaticamente aplicados e são também independentes de fornecedores, permitindo que você adote com confiança estratégias de nuvem multi-cloud e híbrida. Compatível com os quatro pilares principais da segurança: identidade, acesso, proteção de dados e visibilidade.

Quaisquer dados, em qualquer lugar, com opções de implementação flexíveis.


Cloudera Streaming na nuvem

A Cloudera apresenta um conjunto completo de recursos integrados de processamento de fluxo que podem ser implantados na nuvem pública para escalonar com eficiência.

O Cloudera Streaming foi desenvolvido com base nos mecanismos Apache Kafka e Apache Flink com ferramentas de nível empresarial para simplificar a implantação e o gerenciamento.

O Streams Messaging Manager amplia o Apache Kafka com um conjunto de recursos para tratar de governança de esquemas e monitoramento, recuperação de desastres, rebalanceamento inteligente e controle e auditoria de acesso robustos.

O SQL Stream Builder amplia o Apache Flink com um poderoso console SQL que permite que os analistas SQL consultem dados de streaming, bem como colaborem e controlem a lógica de processamento de versão para aplicativos downstream.


Cloudera Streaming no local

A Cloudera pode ser implantada no local com dados de streaming para controlar os custos e minimizar a latência de pipelines e aplicativos em tempo real. O Cloudera Streaming integra o Apache Kafka e o Apache Flink com as ferramentas empresariais necessárias para gerenciar essas implementações. 


Cloudera Streaming - Operadores do Kubernetes

Os recursos do Cloudera Streaming também estão  disponíveis como operadores Kubernetes , que podem ser implantados de forma independente por meio de clusters de Kubernetes existentes, facilitando ainda mais a implantação e o dimensionamento do Kafka para a empresa. O operador do Kubernetes é entregue com o Kafka, o Cruise Control e o Zookeeper, permitindo casos de uso de streaming no Kubernetes com um serviço robusto de broker de mensagens, e Flink e SQL Stream Builder, oferecendo um mecanismo moderno de processamento de streaming distribuído para criar aplicativos de streaming em tempo real que são executados nativamente em contêineres.

Pronto para conhecer mais de perto?

Faça um tour pelo produto Cloudera Streaming

Cloudera Streaming Community Edition

O Cloudera Streaming Community Edition facilita o desenvolvimento de processadores de streaming diretamente do seu desktop ou de qualquer outro nó de desenvolvimento.

Analistas, cientistas de dados e desenvolvedores agora podem avaliar novos recursos, desenvolver processadores de streams baseados em SQL localmente e desenvolver clientes/produtores Kafka e conectores Kafka Connect, tudo isso localmente antes de seguir para a produção.

Comece a operar em 5 minutos com o Streaming Community Edition.

Engaje-se 

Radar GigaOm para plataformas de streaming de dados

A Cloudera foi indicada líder de mercado em plataformas de dados de streaming em 2024.

Faça o download do relatório

GigaOm Radar para plataformas de streaming de dados | Cloudera
Webinar

Acelere as implementações de pipeline de streaming com os novos operadores do Kubernetes

Datasheet

Datasheet do Cloudera Streaming

Whitepaper

A Cloudera oferece o melhor ecossistema da Kafka atualmente

Whitepaper

Gerencie, monitore e replique o Apache Kafka com a Cloudera

Tudo pronto para começar? Vamos nos conectar.

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.