Posts tagged "Big data"

Big data contra a fome

01/03/2019 Posted by Data Science, Pessoas 0 thoughts on “Big data contra a fome”

Análise de dados sobre comércio internacional de alimentos ajuda a entender a dinâmica da fome no planeta.

Por três anos consecutivos a Organização das Nações Unidas para a Alimentação e a Agricultura (FAO) vem registrando aumento nos indicadores da fome ao redor do mundo. Os dados de 2017, apresentados no final do ano passado, apontam que 821 milhões de pessoas vivem subalimentadas.

Contudo, o analisar os dados de produção e distribuição de alimentos, surgem questões morais relevantes: A fartura em alguns países e a carestia em outros é fruto apenas de fatores geográficos, significando que os países mais ricos têm terras mais férteis, ao contrário dos que passam por dificuldades? Ou o contexto socioeconômico mundial e as características do comércio internacional de alimentos influenciam na escassez em alguns territórios?

Um grupo de estudiosos liderados por Kyle Davis, do Data Science Institute, analisou dados oficiais das Nações Unidas sobre o comércio de alimentos em quase 180 países, ao longo do período entre 1986 e 2010. No estudo, foram exploradas 266 commodities – tais como arroz, soja, trigo e milho, bem como produtos de origem animal.

O objetivo da pesquisa foi entender como o comércio internacional auxilia ou prejudica o acesso equilibrado aos alimentos em todo o mundo. Identificando as quantidades de mercadorias produzidas, vendidas e compradas e traçados os fluxos delas a cada ano, os cientistas compararam o cenário com o de um mundo hipotético, no qual nenhuma transação fosse feita.

A principal descoberta foi que, apesar das distorções e desigualdades inerentes ao capitalismo atual, as transações efetuadas contribuem para uma distribuição mais equitativa dos alimentos pelo mundo. É por meio delas que países com grandes populações ou recursos agrícolas limitados podem ter acesso a alguns itens dos quais necessitam.

O próximo passo é compreender melhor como, depois de destinados aos países importadores, os suprimentos são distribuídos para as populações dessas nações. Para atender plenamente aos preceitos da Declaração Universal dos Direitos Humanos em matéria de alimentação, é preciso garantir que as populações mais pobres tenham acesso a comida tão facilmente como as camadas mais abastadas.

E a análise dos dados pode ajudar nisso. Tomara que o faça.

Big Data, grande desafio

25/02/2019 Posted by Data Science, Tecnologia, Tendências 0 thoughts on “Big Data, grande desafio”

Lidar com volumes massivos de dados é um desafio para organizações e pessoas.

A profusão de dados gerados e armazenados a cada segundo pelas incontáveis interações contemporâneas mediadas pela tecnologia ganhou um nome que soa quase como um eufemismo: Big Data. O termo já nasceu defasado, o mais condizente com a realidade seria huge, enormous, gigantic ou outro adjetivo relacionado à imensidão. São dados que não acabam mais.

O volume cria um manancial de possibilidades, mas lidar com Big Data ainda é uma missão repleta de desafios. A começar por ser um campo novo e sujeito aos avanços vertiginosos (e, muitas vezes, inesperados) da tecnologia.

Não se encontram em qualquer esquina profissionais com as competências exigidas. Cientistas de dados e especialistas em Big Data estão entre os mais bem remunerados e cobiçados profissionais de TI. Para as organizações pode ser dispendioso contratar ou capacitar uma equipe, e acumular o conhecimento necessário não é algo que aconteça da noite pro dia. As mudanças, contudo, ocorrem com frequência. Uma tecnologia aplicada hoje pode ser superada em questão de meses.

Boa parte das ferramentas utilizadas são de código aberto, o que representa um alívio no orçamento, mas ainda assim não se trata de algo barato. Os gastos com equipe, hardware, manutenção e outros ainda oneram as organizações. Espaço de armazenamento, largura da banda de rede e outros recursos computacionais são imprescindíveis, podendo dificultar ou inviabilizar um projeto.Também é comum que tanto o investimento previsto quanto o tempo necessário para a implantação de iniciativas dessa natureza sejam superados.

A segurança dos sistemas e os parâmetros de compliance e governança atualmente adotados ao redor do mundo são outros elementos que tornam o cenário complexo. Quanto mais dados armazenados – sobretudo os confidenciais –, maior é o interesse de criminosos cibernéticos em arquitetar um ataque. E cabe à organização detentora dessas informações zelar por sua inviolabilidade e integridade. Os casos de invasão de bancos de dados e vazamento de informações se sucedem, indo desde o Facebook (no famoso caso Cambridge Analytica) até instâncias militares de grandes potências como os EUA, passando por dezenas de grandes redes de vendas e prestação de serviços.

Também não basta que os dados existam e sejam armazenados. Sua qualidade influencia diretamente no potencial que eles têm de transformarem-se em ativos realmente valiosos, e os sistemas precisam ser integrados. O material deve ser bem apurado, relevante e estar formatado uniformemente, possibilitando os usos para os quais for destinado. Insights gerados a partir de dados sem qualidade podem ser irrelevantes ou até mesmo equivocados e, se as áreas da organização não estão interconectadas, a visão que esses dados podem fornecer torna-se limitada.

Ou seja, Big Data é uma das grandes promessas da atualidade e suas potencialidades podem ser ainda maiores do que as que já conhecemos, mas é preciso estar preparado para entrar nessa onda. Afinal, com grandes poderes, vêm grandes responsabilidades – e desafios.

O futuro não perdoa

22/02/2019 Posted by Data Science, Negócios, Tecnologia, Tendências 0 thoughts on “O futuro não perdoa”

Big Data e Inteligência Artificial tiram o sono dos executivos das grandes empresas.

Qual inovação põe as empresas em maior risco de serem expulsas do mercado? A história está repleta de casos de organizações líderes em seu setor que foram dizimadas por avanços tecnológicos. A pesquisa Big Data Survey, com 60 empresas de grande porte, divulgada recentemente, revelou que 79,4% dos executivos, ou quase quatro em cada cinco, temem perder mercado para concorrentes de raiz tecnológica. No ano anterior, nem 50% dos entrevistados percebiam o perigo. O resultado é claro: o medo está aumentando.

E há razões. As mudanças causadas por avanços tecnológicos podem ser rápidas e poderosas. Listamos três casos recentes de companhias que tinham recursos financeiros e humanos disponíveis para enfrentar as mudanças, mas, por teimosia, arrogância ou falta de visão, perderam valor e não passam hoje de memórias de um passado não tão distante.

· Kodak: um dos exemplos mais didáticos das possibilidades abertas por novas tecnologias. A gigante do ramo de fotografia, quase sinônimo de câmeras e filmes, foi à lona com a disseminação das câmeras digitais (ironicamente desenvolvidas por seu próprio departamento de pesquisas).

· Blockbuster: Sucesso no mundo e no Brasil, símbolo de aluguel de fitas de vídeo, foi eleita a 13ª marca mais conhecida dos Estados Unidos, em 1999. Insistiu no investimento em lojas físicas em um mundo que recebeu com alegria os canais de TV a cabo. Nem precisou dos serviços de streaming. Quando a Netflix chegou, a Blockbuster já não era mais que uma sombra do seu passado.

· Olivetti: no Brasil, a empresa vendeu mais de 10 milhões de unidades e era top of mind em máquinas de escrever. Apostou pesado nas datilográficas elétricas, mesmo com o mundo já de olho na dupla computador e impressora.

 

O olhar em retrospecto é sempre cruel, uma vez que as empresas falharam e foram severamente punidas. A lição é olhar o presente e refletir sobre o que está ao redor e é capaz de causar o tipo de mudança tectônica como as enfrentadas pelas organizações abatidas. Neste momento, os olhos se voltam para a dobradinha entre Inteligência Artificial e Big Data.

Embora o potencial de uma e de outra seja conhecido, é a percepção da capacidade do Big Data prover dados relevantes para alimentar os processos de Inteligência Artificial a matéria dos pesadelos (ou sonhos) da alta direção das grandes empresas.

Em mercados distintos, como alimentos, saúde, transportes, essas empresas percebem o crescente poder de companhias data-driven, tanto sejam os gigantes da área, como Amazon, Google, Apple e Facebook, como startups ágeis e agressivas.

 

Big data em expansão

17/01/2019 Posted by Data Science, Tendências 0 thoughts on “Big data em expansão”

População na internet cresce para 3.8 bilhões de usuários.

So big data!

Estamos cada vez mais conectados e o volume de dados em circulação no mundo virtual cresceu, mais uma vez, de forma espantosa. Como todos os anos, a Domo divulgou sua pesquisa sobre a geração de conteúdo online.

Em cada minuto de 2018: 3.877 milhões de pesquisas no Google, 49,3 mil fotos publicadas no Instagram, 473 mil tweetadas e 750 mil músicas tocadas no Spotify. Nossa vida é cada vez mais virtual e um dos destaques do ano é o aplicativo de encontros Tinder, com 6,9 mil matches por minuto. Os dados revelam a crescente integração com o mundo real, em casos como os da Amazon, que empacotou 1,1 mil produtos, ou a Uber, com suas 1,3 mil corridas por minuto, no ano passado.

Os números não param de crescer, assim como a população na internet, que atingiu os 3.8 bilhões de pessoas, e são a expressão de uma característica única da rede. Ela é um organismo alimentado por todos nós. Cresce à medida que migramos para o banco online, o streaming de vídeo ou música, o aplicativo para transporte ou compras e consideramos aceitável transferir para as redes sociais virtuais nossas conexões reais.

Os números são estimados, pois a rede é descentralizada e não há controle sobre quem cria o quê, mas são valores extraordinários e inimagináveis poucas décadas atrás. O volume de informação disponível atordoaria os iluministas (não os iluminatti!) do século 18.

Quando terceirizar a análise de dados?

16/08/2018 Posted by Data Science, Negócios 0 thoughts on “Quando terceirizar a análise de dados?”

Custos e benefícios de uma solução cada vez mais utilizada
pelas organizações.

Como analisar a massiva quantidade de dados armazenados e em armazenamento em todo o mundo? Somente em 2017, algo como 1,8 trilhões de gigabytes foram criados e estudo da consultoria IDC estima um crescimento de até 10 vezes ao longo dos próximos cinco anos.

A capacidade de analisar estes dados diferenciará as organizações. Aquelas capazes de extrair conhecimento e resultados, investindo em Data Analytics, prosperarão. A pergunta feita por gestores e consultores é como fazer o melhor investimento de tempo e recursos. Ou, de forma mais prática: criar uma estrutura própria ou contratar uma consultoria?

A resposta está em determinar quão críticos para os negócios são os dados armazenados (ou disponíveis) na organização.

  • Dados críticos para a sobrevivência dos negócios devem ser, preferencialmente, analisados por equipes internas, atualizadas e capazes. Estas equipes beneficiam-se do apoio de consultores e redes externas.
  • Já os dados considerados de suporte, facilitadores dos processos de tomada de decisão, mas não necessariamente críticos, podem ter sua análise terceirizada.

Atenção para o detalhe: podem e devem! A base da Data Analytics e sua capacidade de transformar os negócios está na visão de que todos os dados devem ser analisados. É a análise que determinará o que é ou não relevante.