Big Data 2015

O continente africano, de forma diversificada e culturalmente rica, está experimentando um boom tecnológico (de 2015-2023) que está redefinindo o cenário econômico. Esse desenvolvimento é ainda mais proeminente nos países de língua inglesa como África do Sul, Nigéria, Quênia, Gana e outros. A digitalização está transformando vários setores, incluindo o setor financeiro. O uso de Big Data e Machine Learning está se tornando mais prevalente, criando um impacto significativo na operação e na prestação de serviços financeiros.

Explicando o contexto financeiro e econômico

A África tem uma economia heterogênea com uma mistura de mercados emergentes e em desenvolvimento. Economias-chave como a Nigéria, a África do Sul e o Quênia têm setores financeiros relativamente avançados. O setor bancário é sólido e bem regulamentado, e o sistema financeiro se estende além do setor bancário tradicional, incluindo seguros, fundos de pensão, mercados de capitais, entre outros.

No entanto, um grande desafio permanece: a inclusão financeira. Uma grande parcela da população africana ainda está desbancarizada ou sub-bancarizada. O acesso limitado a serviços financeiros formais deixa muitos dependentes de serviços financeiros informais, que muitas vezes são caros e inseguros.

Cenário Tecnológico e Oportunidades

As tecnologias digitais estão transformando o cenário financeiro africano, criando oportunidades sem precedentes. Com uma população jovem e tecnologicamente alfabetizada, a África está pronta para um boom tecnológico. A revolução móvel na África é notável. De acordo com o GSMA, mais da metade da população africana estará conectada à internet móvel até 2025. Este alto nível de penetração da tecnologia móvel tem sido um catalisador para o crescimento de serviços financeiros digitais, tais como o mobile banking, que contribuem significativamente para a inclusão financeira.

O cenário de startups africanas também é vibrante. Startups financeiras, em particular, têm atraído um investimento significativo, com empresas fintech liderando o caminho. Um dos segmentos que mais vem ganhando espaço na região é a negociação de opções binárias e derivativos com plataformas como Deriv in Africa.

A Inserção de Big Data e Machine Learning no Setor Financeiro

O Big Data e o Machine Learning estão no centro dessa transformação digital. Eles permitem que as instituições financeiras analisem grandes volumes de dados em tempo real, identifiquem padrões, façam previsões precisas e tomem decisões informadas.

Considerando o setor de crédito e empréstimos, o uso de Big Data e Machine Learning tem mexido bastante com a dinâmica natural. Ao analisar uma variedade de dados, as instituições financeiras podem fazer avaliações de crédito mais precisas e personalizadas. Isso é particularmente útil para incluir aqueles sem histórico de crédito formal. Startups como a Tala e a Branch usam o Machine Learning para analisar dados de smartphones e redes sociais para determinar a solvabilidade.

A detecção de fraudes é outra área onde o Big Data e o Machine Learning estão fazendo uma diferença significativa. Eles podem ajudar as instituições financeiras a identificar padrões de comportamento suspeitos e a agir rapidamente para prevenir fraudes.

O Big Data e o Machine Learning permitem a personalização de serviços financeiros, oferecendo produtos e serviços que se alinham com as necessidades individuais dos clientes. Isso pode incluir tudo, desde a oferta de produtos de seguro personalizados até a personalização da experiência do usuário no banking digital.

Os desafios atuais

Embora o uso de Big Data e Machine Learning no setor financeiro africano apresente oportunidades significativas, também há desafios a serem superados. Primeiro, as questões de privacidade e segurança dos dados são uma preocupação crescente. O manuseio responsável dos dados dos clientes e a garantia de que eles são protegidos contra violações de segurança são de vital importância.

Segundo, a infraestrutura tecnológica necessária para suportar o uso eficaz do Big Data e do Machine Learning ainda está em desenvolvimento em muitas partes da África. Isso inclui tudo, desde a qualidade da internet até o fornecimento de eletricidade.

O desenvolvimento de habilidades é crucial para aproveitar ao máximo essas tecnologias. A formação e a educação em áreas como data science e machine learning são vitais para construir um pipeline de talentos que possam apoiar o crescimento do setor financeiro.

Particularmente acreditamos que serviços financeiros mais inclusivos, seguros e personalizados pode colaborar para a continuação do crescimento e utilização de tecnologias avançadas na África. O cenário está pronto para uma revolução financeira digital, com tecnologia móvel, investimento em fintechs e uma população jovem e alfabetizada. Com os desafios abordados e as oportunidades aproveitadas, a África tem uma oportunidade única de liderar no uso dessas tecnologias emergentes para criar um setor financeiro mais forte e, sobretudo, inclusivo.

O aprendizado de máquina é uma das maiores conquistas científicas da atualidade. Previsto no século XX, o machine learning apenas conseguiu mostrar resultado incontestável no século XXI, após o desenvolvimento de hardware específico com múltiplos núcleos para tarefas paralelas, a partir da inspiração de processamento gráfico (GPUs), inicialmente construída para carregamento de vídeos e renderização de efeitos em games (tecnologia, diga-se de passagem, que vem evoluindo por meio do ray tracing como a Nvidia tem publicado), nos últimos 10 anos tem servido para permitir cálculos de ponto flutuante em larga escala em redes neurais profundas. É nesse ponto que estamos hoje, e você deveria estar por dentro desse movimento. Se ainda não está convencido, leia o próximo parágrafo.

Por que aprender machine learning?

Simplesmente porque é a tecnologia que mais irá automatizar empregos na próxima década. O machine learning permite que as máquinas aprendam tarefas e funções que antes eram restritas ao ser humano. A partir do conceito de aprendizado por reforço – respaldado por imenso poder computacional – as máquinas estão dominando habilidades em nichos cada vez mais específicos, sem a necessidade de código instrutivo, ou seja, não é necessário escrever todas as regras de execução no código, o algoritmo sozinho cria suas próprias estratégias. As previsões de máquinas substituindo trabalhadores são assustadoras. Se você pensa que seu emprego não pode ser substituído, está enganado.

Contudo, em meio ao crescimento da automatização, outros empregos novos serão criados, e justamente serão aqueles relacionados às tecnologias de robótica, inteligência artificial e, provavelmente em sua maioria: machine learning.

Onde aprender machine learning?

Não se engane: você é o responsável por seu aprendizado! Não é um curso, uma formação ou um livro que irá fazer você aprender. Acima de tudo, você precisa ter garra e disposição de correr atrás e adquirir o conhecimento, sem ser dependente de um tutor específico. A internet hoje deu esse poder, permitiu um avanço sem precedentes na possibilidade de pesquisa individual (que, aliás, é fruto do trabalho de agentes autônomos, agentes de busca). Não negligencie essa responsabilidade.

Mas é evidente que é possível aprender machine learning em diferentes locais e de diferentes formas. Por isso, iremos citar aqui alguns portais para ajudar você. O critério mais importante que consideramos para elaborar essa lista é a didática dos cursos. Não há nada mais importante em um material do que a capacidade explicativa do mesmo. Por isso, entenda que se um conteúdo é passado de forma objetiva e didática, com explicações razoáveis e bem fundamentadas, seu aprendizado será muito otimizado e acelerado. A curva de aprendizado ao se estudar com um material bem organizado é muito mais acentuada e vertical.

Em primeiro lugar na nossa lista, indicamos o site Didática Tech. Além de possuir cursos muito focados em machine learning, o portal apresenta diversos cursos gratuitos de programação (em Python e linguagem R) e também de matemática para capacitar o aluno antes de ingressar no ramo. Ou seja, é um arsenal completo de conteúdo para canalizar o conhecimento no objetivo do domínio das técnicas de aprendizado de máquina e inteligência artificial. A didática e organização apresentadas é simplesmente a melhor do mercado, superior inclusive a cursos em inglês (sim, é difícil encontrar material didático em qualquer idioma).

O segundo lugar para aprender machine learning com didática é o Stat Quest. Josh Starmer é, sem dúvida, um dos melhores professores da internet, e felizmente possui muitos vídeos destinados ao aprendizado de máquina, principalmente sob a ótica da estatística. Com explicações detalhadas passo a passo, muitas vezes você compreenderá em poucos minutos conceitos que não havia compreendido em horas de estudo em outros locais. Porém, uma desvantagem é esse portal não possuir conteúdo sobre redes neurais e aprendizado profundo.

Para se motivar no aprendizado de machine learning, com bom humor, um bom ponto de partida é o canal de Siraj Raval. Siraj faz vídeos com muita regularidade e aborda os mais diversos temas de inteligência artificial, desde dados de treino e teste e pré-processamento, até redes neurais, deep learning, redes neurais convolucionais, redes neurais recorrentes, processamento de linguagem natural, assistentes virtuais, entre outros (incluindo computação quântica). Não espere aprender conceitos com didática de forma exemplificada no canal de Siraj, mas você pode ter certeza de que motivação e entusiasmo não vão faltar para impulsionar sua jornada de aprendizado.

Começando com essas indicações, você estará muito bem servido de conteúdo para iniciar sua especialização.

Atualizado em 07/08/2019

As mais recentes tecnologias têm permitido com que o big data cresça e tenha cada vez mais valor. Principalmente nos ramos de Business Intelligence (BI), engenharia e ciência de dados, o conceito de big data tem permitido com que modelos de aprendizado de máquina reconheçam padrões e tragam insights relevantes para empresas e indústrias.

Uma das tecnologias mais emergentes do momento é o blockchain. Blockchain, como o próprio nome diz, consiste em uma cadeia ordenada de blocos. Esses blocos, por sua vez, contêm informações armazenadas na forma de dados, como transações financeiras, por exemplo.

O blockchain surgiu dentro do conceito de Bitcoin, que é um sistema de pagamentos global descentralizado. A forma com que as transações são validadas e armazenadas é justamente nesse livro-razão chamado blockchain, funcionando como um registro contábil. Muitas pessoas, inclusive, acreditam que uma forma de investir em blockchain é por meio de BTC, aprendendo como comprar Bitcoin e guardando para o longo prazo, até a tecnologia florescer mais e atingir todo o seu potencial, como defende o site Confio na Compra com seus artigos fundamentalistas.

Um dos pontos interessantes do blockchain é a sua segurança. Cada vez mais, a privacidade dos dados e questões relacionadas a segurança têm sido um assunto sério. Uma forma de garantir segurança no blockchain é por meio de duplas camadas de criptografia (o Bitcoin, por exemplo, utiliza SHA 256 e ECDSA), porém as assinaturas Schorr provavelmente serão implementadas no core da rede para aumentar a eficiência e a escalabilidade/velocidade.

Outra forma de garantir segurança é por meio do protocolo de consenso utilizado para introduzir novos blocos na cadeia, que no caso do Bitcoin é o Proof of Work (PoW). Nesse processo, múltiplos computadores ao redor do mundo tentam resolver um problema matemático, encontrando um número que possua uma saída da função menor ou igual a certo número bem pequeno (função de via única). O primeiro a resolver, informa o número no hash do bloco e transmite para os fullnodes da rede validarem. O criador de um novo bloco também é chamado de minerador.

Mas blockchain não serve apenas para transações financeiras, muitos outros projetos têm trabalhado com blockchain para armazenar os mais diversos tipos de dados, desde a área médica até cadeias de suprimento e logística. A IBM, por exemplo, possui uma área de pesquisa focada nisso.

Evidentemente, a tecnologia ainda enfrenta alguns desafios como escalabilidade limitada, devido a sua estrutura descentralizada. O fato é que veremos cada vez mais soluções sendo apresentadas, o que permitirá que o valor do big data seja cada vez mais explorado.

*Obs: além de blockchain, outras tecnologias de ledger distribuído (DLT) como block lattice, DAG, entre outras estão no mercado concorrendo com a tecnologia de cadeia de blocos. Algumas criptomoedas como Nano e IOTA são bons exemplos disso, o que reflete a tentativa de aplicar conceitos de descentralização com outros métodos além do próprio blockchain originado com o Bitcoin.

O estudo da análise de dados está ficando cada vez mais abrangente. Partindo de uma simples estrutura que avalia e classifica informações, a análise de dados se transformou no campo amplo do Big Data, que consiste na manipulação de grandes quantidades de dados visando a extrair insights e informações relevantes.

Atualmente, o conteúdo que verdadeiramente é analisado profundamente na internet é de menos de 5%. Todo o restante é desprezado pela dificuldade de tratamento (realmente, existe muito conteúdo inútil, e a dificuldade está exatamente no fato de se conseguir separar dados relevantes dos irrelevantes).

Paralelamente ao surgimento e crescimento do Big Data, outro ramo emergente ganhou muita força: o ramo da inteligência artificial!

A inteligência artificial restrita tem hoje dois principais campos de ação: o machine learning e o deep learning, campos de estudo que têm revolucionado a forma como interagimos com as máquinas. A robótica, por exemplo, está avançando a passos largos graças ao avanços desses campos.

Mas o machine learning também sobre do mesmo problema do big data: obtenção de grande quantidade de dados para tratamento. O aprendizado não-supervisionado, por exemplo, precisa de muitos dados para que o programa possa ser treinado repetidas vezes até atingir a perfeição.

Algumas estratégias no campo da inteligência artificial colaboram para a obtenção de melhores resultados, como as redes neurais convolucionais, que possuem inspiração biológica a partir de um campo receptivo e um mapa de ativação. Esse tipo de abordagem é muito utilizado no processamento de imagens, por exemplo.

Além da inteligência artificial, o processamento de dados também tem apresentado aplicações em tecnologias mais emergentes como o blockchain, que tem mostrado vantagens de processamento em diversos campos, principalmente no quesito autenticidade dos dados e validação da imutabilidade das informações via consenso (que pode ser via Proof of Work – PoW ou Proof of Stake – PoS). Essa tecnologia teve origem no protocolo do Bitcoin e depois passou a ser adotado em outros projetos como Ethereum.

O vídeo abaixo ajuda a compreender um pouco melhor a jornada da ciência de dados e quais serão os próximos passos dessa tecnologia: