O gargalo de dados de documentos na IA empresarial
Embora os dados não estruturados representem aproximadamente 80% do total de dados empresariais, eles são muito subutilizados em análises de dados e casos de uso de IA. As organizações estão lidando com uma explosão de PDFs complexos e registros digitalizados que as ferramentas tradicionais de reconhecimento óptico de caracteres (OCR) e os grandes modelos de linguagem (LLMs) de uso geral têm dificuldade para processar com precisão em grande escala. A abordagem tradicional depende muito de OCR frágil baseado em modelos predefinidos, que falha diante da variabilidade dos documentos, de textos manuscritos ou de digitalizações de baixa qualidade, gerando gargalos significativos na revisão manual. Por outro lado, os LLMs de uso geral frequentemente perdem a estrutura dos documentos, não incluem citações e apresentam um risco real de alucinar valores. Além disso, dados críticos continuam presos em silos arquiteturais, caracterizados por modelos de segurança fragmentados e pouco granulares.
Esses desafios impedem a integração de dados de documentos em casos de uso de IA devido às altas taxas de erro, que podem representar riscos regulatórios (como a leitura incorreta de um limite de cobertura em um arquivo de sinistro, podendo gerar problemas jurídicos), e aos altos custos unitários de extração e processamento de documentos, que limitam a adoção de grandes volumes de dados de documentos em casos de uso de IA/ML. Além disso, revisões manuais, silos de dados dispersos com esquemas heterogêneos e mecanismos variáveis de governança de segurança causam atrasos na disponibilização desses dados para casos de uso de IA/ML, já que são necessários inúmeros pipelines de ETL para padronizar os resultados extraídos segundo um esquema comum e convertê-los em atributos.
A parceria entre a Cloudera e a Pulse: uma arquitetura de referência para IA de documentos em escala
A Cloudera e a Pulse estão trabalhando em parceria para oferecer serviços de extração e processamento de documentos em escala, superando as limitações das abordagens antigas:
Pulse substitui vários pipelines de extração de dados para PDFs complexos, anotações manuscritas, tabelas e gráficos por um único pipeline com várias etapas e vários modelos, que fornece dados altamente precisos e prontos para auditoria. Cada etapa de extração de dados é executada por um modelo desenvolvido para essa tarefa específica, e o “Pulse Brain” consegue compreender o contexto semântico e o layout do documento, analisando os resultados para detectar erros antes de gerar a saída.
Cloudera fornece um data lakehouse aberto e centralizado e uma plataforma de IA empresarial que integra streaming de dados, engenharia de dados, armazenamento de dados e ML/IA generativa em escala, com uma camada unificada de segurança e governança por meio do SDX. Esse framework conta com controles de acesso a dados baseados em atributos, linhagem, enriquecimento ativo de metadados e catalogação.
Essa combinação cria uma arquitetura tecnológica unificada que integra dados estruturados e não estruturados de documentos (processados pelo Pulse) em uma estrutura comum de segurança e governança, usando um único painel em diferentes ambientes de nuvem pública e privada. A arquitetura permite padronizar os fluxos de trabalho de engenharia de recursos em fontes de dados distintas e diversas, além de combinar dados estruturados e dados de documentos em casos de uso de IA/ML. Além disso, ela oferece uma camada unificada de compartilhamento de dados que disponibiliza dados estruturados e dados de documentos para ferramentas externas, no local ou na nuvem.
Além disso, a proposta de valor conjunta reduz o tempo necessário para integrar dados de documentos a casos de uso de IA, eliminando correções manuais e tarefas de garantia da qualidade que normalmente levariam até três dias e reduzindo o prazo de extração para menos de três horas:
A Cloudera oferece melhorias em cargas de trabalho de engenharia de dados e inferência de LLM de até 20 vezes e 36 vezes, respectivamente. Da mesma forma, o Pulse emprega várias otimizações de GPU e CPU para minimizar o custo unitário de extração, aumentando a utilização de GPU em 30%.
Desenvolvido para dados confidenciais e setores regulamentados
Em setores regulamentados, como serviços financeiros e saúde, o custo de um erro silencioso de extração é medido em milhões de dólares ou em exposição regulatória, em vez de ser considerado um simples problema de qualidade. Por exemplo, um ponto decimal colocado incorretamente ou um ponto interpretado como vírgula poderia levar a erros significativos de verificação de AML/KYC, resultando em multas regulatórias substanciais.
A solução da Cloudera e da Pulse foi projetada explicitamente para dados confidenciais e setores regulados; ela pode ser totalmente implementada na nuvem privada virtual (VPC) de um cliente, sem saída pública para extração de documentos ou análises avançadas.
A Pulse oferece uma abordagem de nível de produção para a verificabilidade dos dados, garantindo que cada campo extraído esteja diretamente vinculado à sua localização exata na página de origem e preservando o contexto e as relações hierárquicas que garantem uma extração de documentos quase sem falhas. Especificamente para dados de planilhas, ela pode capturar o layout, as convenções de formatação e as nuances específicas de finanças para superar as limitações das abordagens legadas (por exemplo, descartar colunas ocultas, lidar com dados hierárquicos etc.).
O data lakehouse aberto da Cloudera oferece um mecanismo de segurança de dados altamente detalhado por meio do SDX, que atende a requisitos regulatórios rigorosos, como a conformidade com GxP na área de ciências da vida. O Cloudera Data Lineage rastreia relações estruturais profundas entre dados, desde o documento digitalizado bruto até as entradas no banco de dados vetorial, criando registros de rastreamento prontos para atender às exigências de conformidade.
Atuando como um multiplicador de força para iniciativas de IA
A proposta de valor conjunta é especialmente relevante para iniciativas de IA: conforme os recursos dos modelos de IA se tornam mais comoditizados, o verdadeiro diferencial competitivo das empresas deixa de ser o acesso direto aos modelos e passa a ser seus dados proprietários. A Cloudera e a Pulse ajudam as empresas a explorar com segurança essa enorme vantagem competitiva, transformando repositórios de documentos não estruturados em ativos realmente utilizáveis de alta qualidade. Juntas, a Cloudera e a Pulse melhoram radicalmente a precisão semântica das pesquisas vetoriais no Cloudera RAG Studio, transformando bancos de dados de documentos altamente confidenciais e proprietários em uma base abrangente para business intelligence segura e pipelines agênticos avançados.
Entrega de valor de negócio em escala
Em implantações empresariais, a Pulse apresentou resultados sem precedentes em comparação com as abordagens legadas de extração de documentos.
Para uma das principais empresas de serviços públicos de energia, converteu 1,2 milhão de documentos de campo manuscritos, alcançando 97,5% de precisão em dados que nenhum sistema conseguia digitalizar com precisão havia décadas. Para uma corretora de seguros de destaque, foi o primeiro sistema a fornecer consistentemente 99% de precisão em dados documentais processados por várias equipes offshore, reduzindo em 76% o tempo necessário para desenvolver uma saída estruturada completa e auditável.
Saiba mais sobre os recursos da Cloudera e a plataforma Pulse.
