Lidar com volumes massivos de dados é um desafio para organizações e pessoas.
A profusão de dados gerados e armazenados a cada segundo pelas incontáveis interações contemporâneas mediadas pela tecnologia ganhou um nome que soa quase como um eufemismo: Big Data. O termo já nasceu defasado, o mais condizente com a realidade seria huge, enormous, gigantic ou outro adjetivo relacionado à imensidão. São dados que não acabam mais.
O volume cria um manancial de possibilidades, mas lidar com Big Data ainda é uma missão repleta de desafios. A começar por ser um campo novo e sujeito aos avanços vertiginosos (e, muitas vezes, inesperados) da tecnologia.
Não se encontram em qualquer esquina profissionais com as competências exigidas. Cientistas de dados e especialistas em Big Data estão entre os mais bem remunerados e cobiçados profissionais de TI. Para as organizações pode ser dispendioso contratar ou capacitar uma equipe, e acumular o conhecimento necessário não é algo que aconteça da noite pro dia. As mudanças, contudo, ocorrem com frequência. Uma tecnologia aplicada hoje pode ser superada em questão de meses.
Boa parte das ferramentas utilizadas são de código aberto, o que representa um alívio no orçamento, mas ainda assim não se trata de algo barato. Os gastos com equipe, hardware, manutenção e outros ainda oneram as organizações. Espaço de armazenamento, largura da banda de rede e outros recursos computacionais são imprescindíveis, podendo dificultar ou inviabilizar um projeto.Também é comum que tanto o investimento previsto quanto o tempo necessário para a implantação de iniciativas dessa natureza sejam superados.
A segurança dos sistemas e os parâmetros de compliance e governança atualmente adotados ao redor do mundo são outros elementos que tornam o cenário complexo. Quanto mais dados armazenados – sobretudo os confidenciais –, maior é o interesse de criminosos cibernéticos em arquitetar um ataque. E cabe à organização detentora dessas informações zelar por sua inviolabilidade e integridade. Os casos de invasão de bancos de dados e vazamento de informações se sucedem, indo desde o Facebook (no famoso caso Cambridge Analytica) até instâncias militares de grandes potências como os EUA, passando por dezenas de grandes redes de vendas e prestação de serviços.
Também não basta que os dados existam e sejam armazenados. Sua qualidade influencia diretamente no potencial que eles têm de transformarem-se em ativos realmente valiosos, e os sistemas precisam ser integrados. O material deve ser bem apurado, relevante e estar formatado uniformemente, possibilitando os usos para os quais for destinado. Insights gerados a partir de dados sem qualidade podem ser irrelevantes ou até mesmo equivocados e, se as áreas da organização não estão interconectadas, a visão que esses dados podem fornecer torna-se limitada.
Ou seja, Big Data é uma das grandes promessas da atualidade e suas potencialidades podem ser ainda maiores do que as que já conhecemos, mas é preciso estar preparado para entrar nessa onda. Afinal, com grandes poderes, vêm grandes responsabilidades – e desafios.
