Uma Explosão de Dados
Os dados são cada vez mais baratos e onipresentes. Agora estamos digitalizando conteúdo analógico que foi criado ao longo de séculos e colecionando inúmeros novos tipos de dados de logs, dispositivos móveis, sensores, instrumentos e transações da web. A IBM estima que 90% dos dados no mundo de hoje foram criados nos últimos dois anos.
Ao mesmo tempo, novas tecnologias estão surgindo para se organizar e dar sentido a essa avalanche de dados. Agora podemos identificar padrões e regularidades em dados de todos os tipos que nos permitem avançar na erudição, melhorar a condição humana e criar valor comercial e social. O surgimento de “dados importantes” tem o potencial de aprofundar a nossa compreensão de fenômenos que vão desde sistemas físicos e biológicos ao comportamento social e econômico humano.
Um desafio identificado
Praticamente todos os setores da economia agora têm acesso a mais dados do que seria imaginável, mesmo uma década atrás. As empresas de hoje estão acumulando novos dados a uma taxa que excede sua capacidade de extrair valor a partir dele. A questão que enfrenta cada organização que quer atrair uma comunidade é como usar os dados com eficiência – não apenas seus próprios dados, mas todos os dados disponíveis e relevantes.
“Este novo e novo campo promete revolucionar indústrias de negócios para governo, cuidados de saúde para academia”.
– O New York Times
Nossa capacidade de derivar o valor social e econômico dos dados recém-disponíveis é limitada pela falta de experiência. Trabalhar com esses dados requer novas habilidades e ferramentas distintas. Os corpúss são muitas vezes muito volumosos para se adequarem a um único computador, manipularem bancos de dados tradicionais ou ferramentas estatísticas, ou representar o uso de software gráfico padrão. Os dados também são mais heterogêneos do que os dados altamente curados do passado. O texto, o áudio e o conteúdo visual digitalizados, como dados de sensores e blogs, geralmente são desordenados, incompletos e desestruturados; muitas vezes é de proveniência e qualidade incertas; e freqüentemente deve ser combinado com outros dados para serem úteis. Trabalhar com conjuntos de dados gerados pelos usuários também levanta questões desafiadoras de privacidade, segurança e ética.
O campo do Data Science está emergindo na interseção dos campos das ciências sociais e estatística, informação e ciência da computação e design.
