Visão geral
O que é Stream Processing?
O Cloudera Stream Processing (CSP) fornece recursos para analisar streaming de dados em padrões complexos e para obter informações acionáveis, permitindo que nossos clientes transformem streams em produtos de dados.
Com tecnologia Apache Flink e Kafka, o CSP é uma solução completa de gerenciamento de streams e processamento stateful a nível corporativo. A junção do Kafka como camada de armazenamento de streaming, do Flink como mecanismo central de processamento de streaming e do suporte de alto nível para interfaces padrão do setor, como SQL e REST, permite que desenvolvedores, analistas de dados e cientistas de dados construam, de maneira fácil, pipelines de dados de streaming híbridas que fornecem tecnologia para produtos de dados em tempo real, painéis, aplicativos de business intelligence, microsserviços e blocos de notas de ciência de dados.
Agora, casos de uso como detecção de fraudes, análise de ameaças de rede, inteligência de manufatura, otimização de comércio, ofertas em tempo real, aprovações de empréstimo instantâneas e muito mais são possíveis ao transferir os componentes de processamento de dados no stream para atender a essas necessidades em tempo real.
PIPELINES DE STREAMING DE DADOS HÍBRIDOS
COM TECNOLOGIA CLOUDERA STREAM PROCESSING
Casos de uso
Detecção de fraude
Análise do cliente
Monitoramento de mercado
Análise de Log
Detecção de fraude
Evite milhões de dólares perdidos por fraude financeira, detectando-a de forma proativa.
Empresas de varejo, serviços financeiros e outros setores tentam de todas as maneiras proteger os dados dos clientes e evitar que fraudes financeiras aconteçam. Os recursos de Processamento de Streaming da Cloudera podem processar streams em tempo real de transações de clientes, identificar padrões, criar alertas preventivos e inteligência acionável para evitar possíveis fraudes.
Análise do cliente
A análise de clientes em tempo real melhora o envolvimento, a retenção e a satisfação.
Toda empresa precisa de análises em tempo real para melhorar o engajamento do cliente, mas tem dificuldades para implementá-las devido ao volume excessivo de dados. O Cloudera Stream Processing permite a análise do cliente processando grandes quantidades de dados com latências de milissegundos, ao mesmo tempo que detecta interações com os clientes e recomenda melhores ofertas em tempo real.
Monitoramento de mercado
Lide com milhões de negociações por segundo e escalone petabytes de informações financeiras.
As bolsas de valores enfrentam desafios com as demandas dos clientes por relatórios em tempo real e exigências de SLA mais rápidos. No entanto, é necessário processar petabytes de dados para fornecer esses serviços. O Streams Messaging do Cloudera pode facilmente transmitir grandes volumes de dados para que as bolsas de valores possam criar rapidamente análises em tempo real orientadas para o mercado e atender aos SLAs cada vez mais exigentes.
Análise de Log
Modernize sua infraestrutura de registro para obter análises em tempo real.
Os dados de log são cada vez mais valiosos para as empresas. Mas as organizações de TI estão tendo dificuldades com processos eficazes de coleta de logs, distribuindo informações relevantes upstream e gerando métricas importantes. Os recursos do Cloudera Stream Processing ajudam a ampliar o processamento de registros, a fornecer insights em tempo real em toda a empresa e a reduzir significativamente os custos operacionais.
Recursos
-
Análise de Streaming com tecnologia do Apache Flink
-
Streams Messaging com tecnologia do Apache Kafka
Analítica de Streaming
Com tecnologia do Apache Flink com o SQL Stream Builder, o Cloudera Streaming Analytics fornece:
- Recursos de processamento de streams de baixa latência
- Desenvolvimento simplificado ao permitir que os usuários escrevam aplicativos de streaming com SQL e APIS padrão do setor por meio de terminais REST
- Técnicas avançadas de windowing para desenvolver análises sofisticadas com base em eventos
- Suporte para modelos multinuvem e de nuvem híbrida
O SQL Stream Builder (SSB) é uma interface de usuário interativa e completa para criar trabalhos de processamento de streams stateful usando SQL, que é convertida em trabalhos otimizados do Flink. É possível declarar expressões que filtram, agregam, roteiam e modificam streams de dados com SQL. O SSB é uma interface de gerenciamento de trabalho que pode ser usada para compor e executar o SQL em streams, bem como para criar APIs de dados duráveis para os resultados.
Garanta que os dados sejam processados exatamente uma vez (em inglês, exactly once), mesmo durante erros e novas tentativas. Exemplo: uma empresa de serviços financeiros precisa usar o processamento de streams para coordenar diversos sistemas administrativos de transações quando os clientes pagam as parcelas dos seus empréstimos.
Detecte e lide com eventos de streams que chegam fora de ordem. Exemplo: serviços de combate a fraudes em tempo real precisam garantir que os dados sejam processados na ordem correta, mesmo que cheguem atrasados.
Alcance desempenho de processamento de streams one-at-a-time e in-memory. Exemplo: processe, com milissegundos de latência, solicitações de 30 milhões de usuários ativos que fazem pagamentos com cartão de crédito, transferências e pesquisas de saldo.
Acione eventos ao lidar com centenas de fontes de streams e milhões de eventos por segundo por transmissão. Exemplo: quando um paciente dá entrada na emergência, o sistema entra em contato com sistemas externos a fim de extrair dados específicos do paciente de centenas de fontes para que estejam disponíveis em um prontuário eletrônico no momento em que o paciente chega ao consultório.
Streaming de dados só tem importância se for facilmente capaz de integrar, unir e combinar esses streams com outras fontes de dados em repouso, incluindo warehouses, bancos de dados relacionais e data lakes. Configure provedores de dados usando conectores prontos para uso ou usando seu próprio conector para qualquer fonte de dados. Quando os provedores de dados forem criados, o usuário pode criar tabelas virtuais usando DDL com facilidade. A integração complexa entre vários streams e fontes de dados em lote torna-se mais fácil com famosas construções SQL, como junções e agregações.
Mensagens de streams
Com tecnologia Apache Kafka, o Cloudera Streams Messaging fornece:
- Gerenciador de mensagens de streams para monitorar/operar clusters
- Streams Replication Manager para implantações de HA/DR
- Schema Registry para gerenciamento centralizado de schema
- Kafka Connect, proporcionando movimentação de dados simples, troca de captura de dados e Cruise Control para rebalanceamento automático e autorrecuperação
- Suporte para modelos multinuvem e de nuvem híbrida
Oferece suporte a milhões de mensagens por segundo com baixa latência e alto rendimento, dimensionando de forma elástica e transparente sem tempo de inatividade. Aborda uma ampla gama de iniciativas de dados de streaming, permitindo que as empresas acompanhem a demanda dos clientes, forneçam melhores serviços e gerenciem proativamente os riscos.
O Streams Messaging Manager oferece um único painel de visualização com visibilidade completa sobre como os dados se movimentam entre clusters Kafka, entre produtores, brokers, tópicos e consumidores, permitindo que você rastreie a linhagem de dados e a governança do edge à nuvem. Ele também simplifica a solução de problemas de ambientes Kafka com filtragem e classificação inteligentes.
O Streams Replication Manager, baseado no Mirrormaker 2, oferece replicação de tópicos Kafka entre clusters tolerantes a falhas, escalonável e robusta, bem como monitoramento e métricas de replicação nos níveis de cluster e tópico. Oferece alta disponibilidade, recuperação de desastres, migrações de nuvem, geoproximidade e muitas outras opções.
O Registro de Esquemas permite que você gerencie, compartilhe e ofereça suporte à evolução de todos os esquemas de produtores e clientes em um repositório de esquemas compartilhados que permite que os aplicativos interajam de forma flexível entre si em todo o cenário do Kafka. Diminua com segurança as interrupções que ocorrem devido a incompatibilidades do esquema.
O Cruise Control permite gerenciar e equilibrar a carga de grandes instalações Kafka, além de detectar e corrigir automaticamente anomalias. Resolva problemas difíceis, como falhas frequentes de hardware/máquinas virtuais, expansão/redução de cluster e a distorção de carga entre os brokers.
O Cloudera SDX oferece segurança centralizada, políticas de controle, governança e linhagem de dados em todos os componentes. Eles são definidos uma vez e automaticamente aplicados e são também independentes de fornecedores, permitindo que você adote com confiança estratégias de nuvem multi-cloud e híbrida. Suporta os quatro pilares principais de segurança: identidade, acesso, proteção de dados e visibilidade.
Processamento de fluxo na nuvem
Elimine a complexidade das configurações de nuvem e das configurações de infraestrutura com clusters elásticos totalmente seguros, governados e em menos de 10 minutos na AWS, no Azure e no GCP.
Streaming Analytics for Data Hub
O Streaming Analytics para Data Hub ativa o Apache Flink e o SQL Stream Builder em nuvem pública, levando o processamento de streams de dados em tempo real via SQL ou código de aplicativo para ambientes de nuvem híbrida.
Streams Messaging para o Data Hub
O Streams Messaging for Data Hub amplia a aplicação do Apache Kafka no local, iniciando clusters do Kafka na nuvem pública com um conjunto de recursos de gerenciamento corporativo completo que trata de governança de esquemas, monitoramento, recuperação de desastres, rebalanceamento inteligente e controle e auditoria de acesso robustos.
Faça um tour pelo Stream Processing
