De acordo com a Pesquisa realizada pela Deloitte, “Tech Trends 2017”, estamos na era que mais gerou dados digitais. Cerca de 90% dos dados existentes hoje foram gerados nos últimos cinco anos. O universo digital está dobrando de tamanho a cada 12 meses! A estimativa é de se chegar a 44 zettabytes (tamanho de 44 trilhões de gigabytes) em 2020, e isso significa que teremos tantos bits digitais quanto estrelas no universo.
Grande parte desses dados serão gerados pela Internet das Coisas (IoT). O Gartner estima que seu crescimento explosivo acarretará em 20,8 bilhões de dispositivos conectados implantados até 2020. À medida que a IoT se expande, o volume de dados que a tecnologia gera também se expande.
Dentro deste vasto universo de dados digitais temos os chamados “dark data” que, segundo o Gartner, são “as informações de ativos coletados, processados e armazenados durante atividades comerciais regulares pelas organizações, mas que geralmente não conseguem usar para outros fins”.
No contexto dos dados empresariais, “dark” descreve algo escondido ou não tratado. Podemos citar além dos dados gerados pela IoT (Internet das Coisas), fontes de dados não tradicionais, como arquivos de imagem, áudio e vídeo e a enorme quantidade de dados brutos inexplorados da deep web.
As empresas estão acostumadas a realizar análises em dados estruturados, através do “Dark Analytics”, e agora podem explorar este vasto universo de dados não estruturados e “dark” com o objetivo de obter uma outra/nova visão de negócio e do próprio cliente, além de insights operacionais que os recursos de dados estruturados atualmente podem não revelar.
Esta análise está dominando as agendas e os gastos de TI. Na Pesquisa Global CIO 2016 da Deloitte com 1.200 executivos de TI, os entrevistados identificaram a análise como uma prioridade de investimento. Da mesma forma, eles identificaram a contratação de talentos de TI com habilidades de análise como sua principal prioridade de recrutamento para os próximos dois anos.
O Dark Analytics geralmente se concentra em três dimensões:
Dados inexplorados da empresa
Em muitas organizações, grandes volumes de dados estruturados e não estruturados permanecem ociosos e os motivos variam. No lado estruturado, é tipicamente porque as conexões não foram fáceis de se fazer entre conjuntos de dados diferentes – especialmente informações que vivem fora de um determinado sistema, função ou unidade de negócios. Já os dados não estruturados “tradicionais” – como e-mails, notas, mensagens, documentos, logs e notificações (inclusive de dispositivos IoT) – são baseados em texto e se enquadram nos limites organizacionais, mas permanecem amplamente inexplorados, quer porque não vivem em um banco de dados relacional ou porque, até recentemente, as ferramentas e técnicas necessárias para alavancá-los de forma eficiente não existiam.
Dados desestruturados não tradicionais
Bons exemplos desse tipo de dados são os arquivos de áudio e vídeo e imagens estáticas. Usando a visão computacional, o reconhecimento avançado de padrões e a análise de vídeo e som, as empresas agora podem extrair dados contidos em formatos não tradicionais para entender melhor seus clientes, funcionários, operações e mercados.
Dados da Deep Web
Ela oferece o que podemos chamar de “o maior número de dados de informações não utilizados”. Assim como a comunidade de inteligência monitora o volume e o contexto da atividade na deep web para identificar ameaças potenciais, as empresas poderão em breve manter a inteligência competitiva usando uma variedade de ferramentas de pesquisa emergentes projetadas para ajudar os usuários a realizar pesquisas na rede.
Atualmente, as empresas exploraram apenas uma pequena fração do universo digital para o valor analítico.
A IDC estima que até 2020, cerca de 37% do universo digital conterá informações que podem ser valiosas, se analisadas. Numa era onde os dados são moeda competitiva, que pode manter ou excluir uma empresa do mercado, o Dark Analytics se apresenta com um meio de descobrir o caminho para o tesouro!
E sua empresa, já está fazendo uso dessa nova tecnologia?
* Marcia Garcia é gerente de projetos da Arcon
