
Microsoft anuncia novos serviços ADLS, ADX e mais do Azure Analytics Services
Confira os dois novos serviços de Analytics do Microsoft Azure. A Microsoft anunciou recentemente os seus dois novos serviços de análise do Azure: o ADLS (Azure Data Lake Storage Gen2) e o ADX (Azure Data Explorer). Além destas duas novidades, a Microsoft anunciou também o Azure Data Factory Mapping Data Flow.O novo serviço ADLS Gen2 combina escalabilidade, custo-benefício e um modelo de segurança com recursos avançados de análise usando o Hadoop Distributed File System (HDFS). Além disso, com o HDFS, os clientes podem armazenar dados estruturados e não estruturados, juntamente com um driver do Azure Blob File System (ABFS) que permite que os arquivos e pastas sejam abordados de forma distinta no lado do servidor – eliminando a necessidade de um driver complexo do lado do cliente, e garantindo transações de sistema de arquivos de alta fidelidade.Jurgen Willis, diretor de gerenciamento de produtos da Azure Engineering, compartilhou em seu blog sobre como a Microsoft impulsiona ainda mais o desempenho de análise para ADLS:“Implementamos um namespace hirárquico (HNS) que suporta operações atômicas e arquivos e pastas. Isso é importante porque reduz a sobrecarga associada ao processamento de big data no armazenamento de blobs. Isso acelera a execução do trabalho e reduz o custo porque menos operações de computação são necessárias. O driver ABFS e o HNS melhoram significativamente o desempenho do ADLS, removendo os gargalos de escala e desempenho.Em seguida, em relação ao aumento de desempenho, a Microsoft também oferece os mesmos recursos robustos de segurança de dados incorporados ao Armazenamento de Blobs do Azure, como:Encryption of data in transit and at rest via TLS 1.2Storage account firewallsVirtual network integrationRole-based access securityAtualmente, o ADLS está disponível em quase todas as regiões do Azure, exceto no DOD Central dos EUA e no DOD Leste dos EUA.O novo ADXCom o novo ADX, os clientes podem aproveitar um serviço de análise de dados totalmente gerenciado para análise em tempo real em grandes volumes de dados de streaming. Esse serviço é, de acordo com o post no blog de Willis, capaz de consultar 1 bilhão de registros em menos de um segundo sem modificação dos dados ou metadados necessários. Além disso, o ADX inclui conectores nativos para o Azure Data Lake Storage, o SQL Data Warehouse do Azure e o Power BI, além de uma linguagem de consulta intuitiva que permite aos clientes obter insights em minutos.A Microsoft criou o design do ADX com rapidez e simplicidade – combinando dois serviços distintos que funcionam em conjunto:O Engine (mecanismo), um serviço responsável por processar os dados brutos recebidos e atender às consultas do usuário, eO Data Management (DM), que permite a ingestão de vários tipos de dados brutos. Além disso, o DM também é responsável pelo gerenciamento de falhas, contrapressão e tarefas de preparação de dados quando necessário.Observe que os dois serviços são implantados como clusters de compute node (máquinas virtuais) no Azure.Com os dois novos serviços, os clientes podem ter maior flexibilidade no gerenciamento de dados não estruturados ou dados gerados a partir das interações na Web, aplicativos de software como serviço, mídias sociais, aplicativos móveis e dispositivos de internet das coisas. De acordo com John Chirapurath, gerente geral de dados Azure, blockchain e AI na Microsoft em um artigo VentureBeat:“Nós sempre nos esforçamos para tornar muito fácil para a equipe de TI adotar análises e para as pessoas da linha de negócios utilizarem e fornecerem percepções poderosas usando produtos bonitos.”Mapping Data FlowPor fim, a Microsoft também lançou uma prévia de um novo recurso Mapping Data Flow no Azure Data Factory (ADF) – um serviço híbrido de integração de dados baseado em nuvem para orquestrar e automatizar a movimentação e transformação de dados. Com o novo recurso, os clientes podem projetar visualmente, criar e gerenciar processos de transformação de dados sem aprender o Spark ou ter uma compreensão profunda de sua infraestrutura distribuída. Atualmente, o ADF está disponível em 21 regiões.Fonte: infoQ