Trilha BigData

Nova tendência, nova oportunidade

Saiba e conheça mais sobre Big Data e seus 3V's: volume, variedade e velocidade. Aprenda mais sobre a mineração de enormes volumes de dados estruturados e não estruturados de informações úteis, usando ferramentas não-tradicionais de data-sifting, incluindo Hadoop.

Horário Palestra
08:00 às 09:00 Credenciamento e recepção dos participantes com café da manhã simples
09:00 às 10:00 Abertura
10:10 às 11:00 BigData and Machine Learning: Usage and Opportunities for your IT department (STADIUM)
BigData and Machine Learning: Usage and Opportunities for your IT department (STADIUM)
Mathieu Despriee
Big Data, MapReduce, distributed computing, NoSQL, all of these are buzzwords and concepts only implemented by a few actors. Still, we are sitting on a gigantic heap of data, from which it's difficult to extract valuable information... MapReduce is a proven solution to analyze those big data. It has been used by Google to index the web, by LinkedIn to compute its email campaigns... And new components continue to appear. Do these concepts have any interest for our IT department ? What's the maturity of these solutions ? What are the business opportunities related to BigData ? How to master the Hadoop ecosystem, and master its architecture and configuration ?

Mathieu Despriee
11:10 às 12:00 MySQL Cluster - visão geral
MySQL Cluster - visão geral
Airton Lastori
Uma visão geral sobre o MySQL Cluster incluindo sua capacidade de oferecer 99,999% de disponibilidade com performance superior a 1 bilhão de escritas por minuto, abordando algumas funcionalidades, e interfaces NoSQL e casos de uso como Paypal e games.

Airton Lastori
12:00 às 13:00 Intervalo para almoço*
13:10 às 14:00 Monitorando gateway de pagamentos com Splunk
Monitorando gateway de pagamentos com Splunk
Marcio Ghiraldelli
Case de uso de sucesso utilizando solução de BigData comercial Splunk para monitoração em tempo real do maior gateway de pagamentos do Brasil - o UOL PagSeguro

Marcio Ghiraldelli
14:10 às 15:00
Storm, processamento e analises em tempo real para Big Data
Storm, processamento e analises em tempo real para Big Data
Fabio Velloso
Big Data foi classificada pela consultoria McKinsey como a próxima fronteira da inovação, competição e criatividade. Atualmente ja podemos observar várias aplicações e os grandes players da Internet se beneficiando deste conceito com tecnologias Open Source. Neste palestra serão apresentadas as caracteristicas principais do Storm para o desenvolvimento de aplicações que respondem a eventos com baixa latência, possibilitando analises em tempo real de eventos. Serão apresentados também cenários de uso e suas aplicações , bem como a integração com bancos de dados NoSQL e o framework Hadoop criando assim uma arquitetura que aproveita as caracteristicas destas podendo processar adequadamente eventos de baixa latência e processos batch.

Fabio Velloso
15:00 às 15:30 Coffee-break & networking
15:40 às 16:30 Padrões de design para MapReduce
Padrões de design para MapReduce
Felipe Ferreira / Karla Okada Gomes
MapReduce é um paradigma computacional para processamento de dados em centenas de computadores que tem sido popularizado recentemete pelo google, hadoop e outros. O paradigma é poderoso, porém, é preciso que se saiba utilizar de forma correta afim de se obter os benefícios que ele oferece. Um dos problemas mais comuns enfrentados pelos desenvolvedores é a dificuldade de implementar MapReduces de forma padronizada utilizando os seus componentes de forma correta. Esta palestra tem como objetivo abordar os padrões de design para o desenvolvimento de MapReduces. Através desses padrões, é possível deixar os MapReduces mais organizados e adaptados para aproveitar os recursos que o paradigma oferece.

Felipe Ferreira / Karla Okada Gomes
16:40 às 17:30 Arquiteturas Java pragmáticas para usar big data na nuvem
Arquiteturas Java pragmáticas para usar big data na nuvem
Fabiane Bizinella Nardon / Fernando Babadopulos
Processar, analisar, reduzir, escalar, inovar? A vida de um arquiteto de software trabalhando com big data pode ser tanto um sonho quanto um pesadelo. Por um lado, você tem um poder de processamento na nuvem como nunca existiu antes, além de ferramentas que podem transformar suas ideias mais malucas em aplicações totalmente disruptivas. Por outro lado, é muito fácil cair em gargalos arquiteturais ou custos de escala proibitivos. Ferramentas como Hadoop, Hive, Pig, Crunch e HBase transformaram Java na força por trás da revolução do big data. No entanto, é bem fácil ficar totalmente perdido entre as várias opções de ferramentas disponíveis, sem saber como e quando usar cada uma delas. Esta palestra irá apresentar arquiteturas Java bem pé-no-chão para construir aplicações de big data eficientes mantendo os custos de hosting na nuvem o mais baixos possíveis. Vamos mostrar como combinar de forma eficiente ferramentas open source bem conhecidas e também apresentar alguns dos nossos truques secretos para ter uma performance sensacional, sem ficar maluco no processo.

Fabiane Bizinella Nardon / Fernando Babadopulos
17:40 às 18:30 Relatórios e Estatísticas de e-mail utilizando logs em tempo real
Relatórios e Estatísticas de e-mail utilizando logs em tempo real
Francisco Freire
Quando se administra um sistema de e-mails com mais de 3 milhões de contas, mais de 100 milhões de e-mails enviados/recebidos todos os dias, tudo funcionando corretamente, porém surge uma necessidade, ter controle total sobre tudo que está acontecendo, mensagens enviadas/recebidas, envio de spam, consulta rápida para detecção de erros, contadores, etc. Como fazer? Pensando em tecnologia chega próximo ao impossível ter essas informações em uma base de dados SQL comum, visto que são milhares de eventos gerados por segundo, as consultas devem ser mais rápidas ainda e são dados temporários, que são utilizados em no máximo alguns dias e depois descartados. Um desafio mesmo para servidores NoSQL. Foram feitos diversos tipos de testes, utilizando tanto servidores SQL quanto NoSQL, sempre funcionando bem nos primeiros minutos, porém após uma certa quantidade de dados sempre eram sobrecarregados mesmo escalando horizontal/verticalmente, separando por grupos, por máquinas, por sistemas não conseguimos chegar em um ambiente ideal, em se tratando de complexidade x performance. Após cansativos testes chegamos ao melhor sistema custo/benefício, sem a necessidade de alteração de aplicações, integrando diretamente com o rsyslog e utilizando como backend servidores redis. Assim quando um serviço/sistema envia seu log via sislog, temos uma configuração dentro do rsyslog que envia para um processo interno que roda no mesmo servidor (fazendo que que a perda de logs sejá muito baixa ou mesmo 0), esse processo faz o parse, processa e envia para o lugar correto. No caso de contadores (temos "n" contadores, por ips, domínios, contas, hora, dia, etc) ele manda para o redis, e o próprio log raw é encaminhado para o graylog (que utiliza como backend o elastic search) para consulta depois. Hoje o redis responde a cerca de 70k operações por segundo e temos mais de 100 milhões de linhas de log armazenadas no graylog a cada hora. Como resultado, temos todos os contadores que precisamos e podemos gerar relatórios, detectar anomalias e avaliar alterações no ambiente. Pelo lado de troubleshooting, temos um enorme ganho com a centralização de consultas dentro do graylog, e qualquer nível de atendimento ganha pois pode fazer a consulta pela interface e detectar problemas rapidamente.

Francisco Freire
18:40 às 19:00 Encerramento e sorteios

* Todos os participantes receberão um sanduíche na hora do almoço

Obs.: Grade sujeita a alteração

Ale Uehara

Ale Uehara


Atua há mais de 10 anos na área de tecnologia, tanto no mercado de e-commerce, seguros, governamentais, sistemas críticos, etc. Geek e nerd, desenvolve e trabalha com Python, Java, C, Big Data, Data Science, NoSQL, e outras coisas mais que aparecem no dia a dia. Atualmente é especialista Tech em Inovação, atuando fortemente em Startups, Fintechs, Smart Cities e tecnologias disruptivas.


Wagner Roberto dos Santos

Wagner Roberto dos Santos


Wagner Roberto dos Santos é instrutor da Globalcode nas formações Academia Agile e Academia do Arquiteto, professor da FIAP nos cursos de especialização, possui mais de 12 anos de experiência na área de desenvolvimento de sistemas. Atuando atualmente como Arquiteto de Software e Agile Coach pela OCTO Technology. Como arquiteto de software, se especializou na Plataforma Java EE, com experiência em ambientes distribuídos e de alta complexidade. Tendo utilizado tecnologias emergentes como os serviços AWS (Amazon Web Services) para controle de um ambiente em nuvem, NoSQL e Big Data. Ainda como arquiteto, trabalha na facilitação de times na definição de modelos ricos de domínio, favorecendo o uso de processos com o Domain Driven Design. Como Especialista em Agilidade, possui profundo conhecimento em técnicas de coaching e facilitação para liderança de equipes. Com pleno domínio em metodologias ágeis como FDD, Lean Kanban, Extreme Programming (XP) e Scrum. É Autor de diversos artigos para as revistas Mundo Java e Java Magazine. Possui as certificações SCJA, SCJP, SCWCD, SCSNI, SCJWSD, SCBCD, SCEA(I), CSM e ACP. Nas horas vagas mantém o blog http://netfeijao.blogspot.com


Marcio Ghiraldelli

Marcio Ghiraldelli


Marcio Ghiraldelli é Especialista de Sistemas e atua na área de P&D do UOL há 4 anos. Foi desenvolvedor Java na B2W (Americanas/Shoptime/Sumarino) por 4 anos e Sócio/Proprietário de agência de desenvolvimento de sites por 2 anos. Possui certificações Java Certified Enteprise Architect 5 e MBA Gerenciamento de projetos PMI.


Fabio Velloso

Fabio Velloso


Fabio Velloso trabalha com Java desde 1996, e desenvolvendo projetos para instituições financeiras, telecomunicações e de varejo usando a tecnologia Java para o desenvolvimento de aplicações baseadas em Java EE, integração de sistemas legados e segurança. Fundador e diretor da SouJava, Fábio possui vasta experiência como palestrante em conferências brasileiras como JustJava, Café Brasil, Abaporu, universidades e outros eventos JUG. Professor na Universidade Federal de São Carlos, e adota ferramentas de open source como NetBeans, Glassfish e Jersey para ensinar SOA, Web Services e REST. Atualmente desenvolve projetos pessoais com Big Data, Cloud, Design Thinking, Service Design e Economia Criativa.


Airton Lastori

Airton Lastori


Airton Lastori é consultor MySQL da Oracle Brasil. Possui formação em Ciência da Computação pela Universidade Federal de Itajubá e especialização em Engenharia de Software baseada em SOA pelo IBTA. Há mais de 10 anos está envolvido com diversas tecnologias Open Source relacionadas principalmente ao universo Web.


Karla Okada Gomes

Karla Okada Gomes


Profissional com Mestrado em Informática (Recuperação de Informação) pela UFAM em 2010. Com especialização em Tecnologias Web, pela UFAM 2005 e Graduação em Ciência da Computação, pela UFAM em 2003. Possui mais de 10 anos de experiência em desenvolvimento de software, atuando desde 2005 em projetos de P&D com desenvolvimento Java EE/SE.


Fernando Babadopulos

Fernando Babadopulos


Fernando é um cientista da computação especialista em projetar software de alta performance. Ele foi responsável pela arquitetura e desenvolvimento de alguns dos mais populares web sites do Brasil, todos eles com enorme audiência. Empreendedor, ele está agora trabalhando na criação de uma nova empresa que irá mudar a forma como mídia é comprada no Brasil.


Felipe Ferreira

Felipe Ferreira


Analytical, performance focused engineer with over 12 years experience in enterprise systems development and architectural design using JEE technology. Specialized in Big Data platform analytics using Hadoop and associated ecosystem tools. Exceptional technology skills combined with ability to drive user-centric solutions, define strategy and lead data management.



Mathieu Despriee

Mathieu Despriee


Mathieu DESPRIEE is a senior architect at OCTO Technology - He works as a consultant around scalability, distributed architecture, nosql, and organizational patterns that allows to build great product : lean, devops.


Fabiane Bizinella Nardon

Fabiane Bizinella Nardon


Fabiane é uma cientista da computação com PhD em Engenharia Elétrica que adora criar aplicações disruptivas. Depois de ganhar um Duke's Choice Award no JavaOne'2005, foi eleita Java Champion, liderou a comunidade JavaTools do Java.net e é palestrante frequente em conferências no Brasil e no exterior. Atualmente, Fabiane se diverte nas empresas que ajudou a construir, seja criando aplicações de Data Science na TailTarget, ambientes de ALM na ToolsCloud ou histórias coletivas na StoryTroop.


Francisco Freire

Francisco Freire


Sysadmin, trabalha com Linux há 10 anos, não tem medo de novas tecnologias, pai de primeira viagem e jogador de wow nas poucas horas restantes do dia.




Público Alvo

Desenvolvedores que queiram aprender mais sobre Big Data / Hadoop; Coordenadores e gerentes que querem saber o que é o Big Data e como se beneficiar com ele Estudantes que querem ver uma nova oportunidade na carreira


Atenção

Não haverá devolução do valor pago após realização da inscrição.



Fotos do Dia

Confira abaixo, as fotos que foram registradas no dia desta trilha.

Picasa | Link Direto

Facebook | Álbum

Página com todos os Álbuns


Data e Local

Sexta-feira, 12 de Julho de 2013

Das 8:00 às 19:00 h

Universidade Anhembi Morumbi

Rua Casa do Ator, 275
Itaim Bibi, São Paulo - SP

Mais informações


Patrocinadores TDC 2013 São Paulo Grupo de Software da Intel Oracle Technology Network Microsoft IBM DevMedia InfoQ Brasil Amazon Web Services Google Resource Solutions JetBrains UOLHOST Websolute Triangulum Soluções Webgoal Firefox OS TQTVD Octo Technology Unity Wildtech Farnell Newark Globalcode Anhembi Morumbi