O que é "Big Data" e quais os desafios esse conceito trás

Big Data é mais um conceito de marketing do que realmente uma novidade. Mas como a maioria dos novos conceitos de marketing, por trás existe uma oferta (por parte de vários fornecedores) para resolver um problema que pode não ser novo, mas está crescendo a ponto de se tornar importante.

Primeiro, vamos identificar o problema: as empresas estão sendo inundadas por volumes enormes de dados e todos sabem que a perspectiva é que isso só piore. Por exemplo, estão surgindo no mercado discos de 4TB, isso vai reduzir o custo de armazenamento (discos com custo de $/TB menor, menos espaço ocupado, etc.) e consequentemente se amplia a quantidade de informações armazenadas.

Vamos ver alguns exemplos para ilustrar:

• Empresas de e-commerce estão coletando logs de todas as ações de cada cliente: que páginas foram acessadas, quanto tempo ficou em cada página, etc. A ideia é traçar um perfil de comportamento e estudar maneiras de motivar esses clientes a comprarem mais.
• Corporações coletando dados de acesso de cada funcionário, tanto para o mundo externo como interno, em busca de comportamentos suspeitos.
• Armazenamento de imagens de câmera de segurança, com cada vez melhor resolução e por cada vez mais tempo.
• Gravação das conversas de todos os funcionários de um call-center.
• Guarda de emails, notas fiscais eletrônicas, registros de presença por décadas. Tudo para atender a obrigações legais e proteger a empresas contra ações futuras.

Esses são apenas alguns exemplos, porém o grande problema é tratar (de todas as formas) esses dados. A área de TI precisa armazenar, realizar cópias de segurança e recuperar (quando necessário) essas informações. Os gerentes precisam analisar esses dados para encontrar maneiras de otimizar seus departamentos. A alta diretoria precisar resumir esses dados de formar a tirar informações que ajudem a guiar a empresa. O departamento de segurança (normalmente ainda dentro de TI) precisa garantir que esses dados estejam protegidos.

Tudo isso é Big Data: é a constatação que está se tornando humanamente impossível controlar e usar esses dados de maneira manual. É necessário o uso de novas ferramentas que ajudem a automatizar esses processos.

Assim, Big Data não é uma tecnologia ou uma aplicação, assim automação industrial . Cada fornecedor de tecnologia está buscando adaptar seus produtos e seu marketing para resolver um ou outro problema dentro desse "pacote" de problemas chamado Big Data. E cada cliente vai ter um ou mais problemas (porém nenhuma empresa é igual a outra) no tratamento dessa enorme quantidade de dados e vai usar então as soluções que sejam mais adequadas.

Alguns exemplos de soluções voltadas para o mercado de Big Data:

• Microsoft lança ferramentas para permitir com que usuários de Excel consigam analisar de maneira simples e rápida planilhas enormes (literalmente, com milhões de células) através de gráficos e agrupamentos de dados. 
• Empresas de backup como Commvault apresentam soluções que permitem a recuperação de um arquivo ou e-mail específico em um backup de dezenas de TB, sem a necessidade de descompactar todo o lote.
• SAP apresenta soluções de servidor com centenas de TB de memória RAM para que o banco de dados rode diretamente da memória (muitas vezes mais rápido que o disco) no chamado "in-memory analytics" permitindo com consultas que tradicionalmente levem dezenas de minutos sejam feitas em segundos. 
• Apache Fundation (a mesma que suporta o desenvolvimento do servidor web Apache) está desenvolvendo com muita ênfase uma solução de armazenamento de dados no nuvem, o Hadoop. Essa solução permite o armazenamento de grandes arquivos distribuidos em vários locais diferentes, para garantir, entre outras coisas, escalabilidade, redundância e performance.

E por ai segue outros fabricantes.

Big Data é um termo genérico. Cada fabricante procura um espaço nesse mercado que está sendo criado, cujo foco é ajudar as empresas e lidar com o grande volume de dados e tirar informações uteis. Dessa forma o que seria uma avalanche de problemas para as corporações pode se tornar uma oportunidade de "pescar" informações importantes mas que estavam antes escondidas, ou porque não se podia coletar tantos dados, ou porque não se conseguia analisá-los de maneira eficiente.

Por outro lado o conceito de Big Data varia de empresa para empresa, assim existe um trabalho de pesquisa e consultoria a ser feito, pois cada caso é um caso e as melhores soluções para uma empresa podem não ser as ideias para outra.

Me acompanhe no Twitter: http://twitter.com/mlrodrig