A palestra aborda um caso de uso (instituição financeira) onde construímos arquitetura simples, robusta e de baixo custo, para um sistema completo de Processamento de Eventos Complexos (acrônimo em inglês CEP) juntamente com um Sistema de Gerenciamento de Regra de Negócios (acrônimo em inglês BRMS) baseado em ferramentas de Big Data.

Para isto foi utilizado o BRMS JBoss Drools, com sua interface gráfica para criação regras conhecida como Kie Workbanch. Os artefatos gerados pelo Drools foram submetidos no Apache Spark. Aditivamente foi utilizado o Apache Kafka como subsídio para processamento em streaming junto ao Apache Spark.

A integração de soluções desenvolvidas pelos times de Data Engineering e Data Science nem sempre é trivial. Discutiremos tecnologias e boas práticas adotadas no Serasa Experian Datalabs, incluindo ecossistema Hadoop aliado a ferramentas sobre GPU, que buscam maximizar a capacidade de entrega conjunta dos times. Mostraremos exemplos de atividades que vão desde análise exploratória, processamento de grandes volumes de dados à deploy de modelos em produção.

Na era da informação é praticamente um pecado capital não utilizar dados e informações concretas para a tomada de decisão. No entanto, montar uma arquitetura capaz de aproveitar o potencial de tamanha disponibilidade e volume de dados não é uma tarefa simples. Nesta apresentação, discutiremos um caso real de implementação de uma solução de BI e Big Data na nuvem e nos aprofundaremos na estratégia adotada. Quais os prós? Quais os contras? Quais as possíveis variações dessa estratégia? Essas serão as perguntas respondidas aqui!

Palestra sobre como fazer integração de dados com Big Data, as vantagens competitivas e de negócios, aumento de capacidade de processamento, e diminuição de custo. É abordado o caso de uma instituição financeira que trocou ferramentas tradicionais de integração de dados por ferramentas de Big Data.

Da arquitetura até a implementação de um Data Lake nos deparamos com uma grande quantidade de ferramentas opensource e serviços na nuvem para agregar ao universo Big data. Juntar essas ?peças? para construir algo que gere valor para o negócio é um desafio. O objetivo dessa palestra é compartilhar os erros e acertos na implantação de um Data Lake através da análise de trade-offs e resultados de benchmarks realizados durante a jornada. Utilizando comparativos de funcionalidades e custo, serão apresentadas as opções analisadas para as camadas de armazenamento e processamento, como cloud storages e soluções como Presto, Bigquery, Athena e Redshift Spectrum.

Um dos grandes desafios quando desenvolvemos um sistema de Workload Analítico em Tempo Real é trabalhar com dados que mudam de forma rápida em um intervalo de tempo muito baixo.

A proposta dessa apresentação é justamente demonstrar como o Apache Kudu pode facilitar a utilização desse tipo de caso de uso e ao final realizar uma demonstração na prática de uma solução que contempla essa questão.

O IBM BigSQL é uma engine de execução relacional de alto desempenho desenvolvida para trazer novos níveis de desempenho e funcionalidade ao mundo SQL/Hadoop.

Construída com base nos mais de 40 anos de experiência da IBM em bases de dados relacionais, o BigSQL permite em uma única Engine:

• Alto desempenho para consultas SQL em ambiente Hadoop.
• Compatibilidade com SQL ANSI, incluindo suporte a SQL procedural além do suporte ao dialeto Oracle e PL/SQL.
• Avançado nivel de segurança e gerenciamento de Workload.
• Integração avançada com o eco-sistema Hadoop incluindo Yarn, Hive e Ranger.
• Federação com outras bases de dados, como Oracle, PostgreSQL e SQL Server.

Já se deparou com o problema de Distributed Messages? E replicação e partição de dados em um sistema de Stream Real Time? E quando temos muitos dados e precisamos de Cluster horizontal? E se precisarmos de garantia de entrega? E o desafio de recebimento de mensagens na sequência? Veja nesta palestra como o Apache Kafka responde todas essas perguntas e como a sua Arquitetura baseada em Eventos pode se beneficiar!