Categoria: Cloud

Cloud IT Management Microsoft Teams

Como manter a produtividade trabalhando remotamente

Com o contínuo impacto do surto de COVID-19 em pessoas e países ao redor do mundo, equipes de todos os lugares estão migrando para o trabalho remoto. A Kumulus tem como objetivo apoiar organizações de qualquer tamanho e segmento a se manter conectadas enquanto trabalham separadas, utilizando tecnologias baseadas na nuvem.

Sua empresa pode manter seus sistemas operacionais por meio da nuvem de nossos parceiros, como Microsoft e Amazon, além de poder utilizar o Microsoft Teams para conversar, realizar reuniões, chamadas e colaborar com outras pessoas da sua organização, tudo em um só lugar. Agora, apenas tecnologia não basta. Por isso gostaríamos de trazer algumas dicas para um trabalho remoto eficaz.
Dicas iniciais
Configure seu espaço de trabalho
Encontre um espaço em sua casa em que você possa se concentrar. Se você estiver em algum lugar com distrações em segundo plano, use a opção desfoque da tela de fundo no Microsoft Teams, por exemplo, para manter os colegas de equipe focados.
Foque na comunicação
Seu ritmo com o trabalho online em casa pode ser diferente do escritório. Por exemplo, você pode equilibrar o trabalho e o cuidado com os filhos ao mesmo tempo. Comunique sua programação aos colegas de trabalho para que eles saibam quando entrar em contato com você.
Mantenha limites saudáveis
Sem as situações normais do dia de trabalho, como o deslocamento até o escritório, pode ser mais difícil saber a hora de parar. Faça pausas, mantenha-se hidratado e dê a si mesmo a oportunidade de “encerrar” o trabalho remoto no final do dia.
Faça reuniões
Adote as reuniões online
Verifique se todas as reuniões incluem uma opção de “participação” online para que os membros da equipe possam participar de onde quer que estejam trabalhando. Ligue o vídeo para que os membros da sua equipe possam interagir cara a cara e se sintam mais conectados.
Seja consciente e inclusivo
Uma teleconferência lotada pode dificultar o compartilhamento de opiniões. Faça pausas com frequência para permitir perguntas e lembre aos participantes que eles podem usar a janela do chat para compartilhar ideias.
Grave as reuniões
Ao iniciar uma reunião, pressione “gravar”. O Microsoft Teams, por exemplo, possui essa funcionalidade. Os membros da equipe que não puderem participar conseguirão assistir mais tarde ou pesquisar informações importantes na transcrição gerada automaticamente. Dessa forma, as pessoas podem encontrar com facilidade tudo o que perderam ou precisam revisar.
Permaneça conectado
Compense a falta da conversa de corredor
A conversa rápida no cafézinho é uma das coisas que muitas pessoas sentem falta quando trabalham remotamente. Para compensar isso, tome a atitude de entrar em contato com seus colegas de trabalho. Pense nas mensagens de chat como sua conversa de cafézinho virtual e lembre-se de falar regularmente com as pessoas. Manter-se conectado com as pessoas é extremamente importante, ainda mais nessa fase de quarentena.
Reúna a equipe
Trabalhar remotamente pode parecer um pouco solitário. É importante criar oportunidades para toda a equipe se reunir virtualmente, seja para fazer brainstorms ou check-ins diários.

Não se engane, o tempo que estamos vivendo pode ser estressante. Manchetes negativas, preocupação com entes queridos ou idosos e a luta contra o desejo de entrar em pânico podem colocar todos os e-mails de trabalho e chats sem resposta. Porém, quanto mais esforço você fizer para se comunicar com os seus colegas e mais conectado você estiver, maior a chance de evitar sentimentos de isolamento.

Sim! É possível se manter produtivo trabalhando de casa aplicando dicas valiosas como as discutidas nesse post.

Cloud Cloud Adoption Framework Microsoft Azure

Cloud Adoption Framework: A abordagem da Microsoft para migrações ao Azure

Fundamentalmente, a nuvem altera como as empresas adquirem e usam recursos de tecnologia. Tradicionalmente, as empresas assumiram a propriedade e a responsabilidade de todos os aspectos da tecnologia, da infraestrutura ao software.
A nuvem mudou este conceito, uma vez que ela permite que as empresas provisionem e consumam recursos conforme sua atual demanda. No entanto, a adoção da nuvem é um meio para um fim.
As empresas são motivadas a migrar para a nuvem para:

Otimizar operações.
Simplificar a tecnologia.
Aumentar a agilidade dos negócios.
Reduzir custos.
Prepare-se para novos recursos técnicos.
Dimensionamento para demandas de mercado ou áreas geográficas.

As empresas são motivadas a inovar usando a nuvem para:

Melhorar as experiências do cliente.
Aumentar sua competitividade.
Transformar produtos.
Preparar-se para e criar novos recursos técnicos.
Acessar novos mercados.

Microsoft Cloud Adoption Framework for Azure
O Cloud Adoption Framework é a abordagem da Microsoft de adoção de nuvem no Azure, consolidando e compartilhando melhores práticas de funcionários, parceiros e clientes da Microsoft. Essa estrutura fornece aos clientes um conjunto de ferramentas, diretrizes e narrativas que ajudam a modelar as estratégias de tecnologia, negócios e pessoas, a fim de impulsionar os resultados desejados durante os esforços de adoção da nuvem. Essas diretrizes se alinham às várias fases e iterações do ciclo de vida típico de adoção da nuvem, garantindo fácil acesso às diretrizes certas, na hora certa.

Aplicando o Cloud Adoption Framework em todo o ciclo de vida de adoção
Cada seção do Cloud Adoption Framework é mapeada para o diagrama de visão geral acima. A lista abaixo ajuda a empresa a alinhar-se à seção que corresponde melhor à sua fase atual no ciclo de vida de adoção da nuvem.

Estratégia
Defina a justificativa comercial e os resultados esperados.

Plano
Alinhe os planos de adoção práticos com os resultados do negócio.

Ready
Prepare o ambiente de nuvem para as mudanças planejadas.

Migrar
Migre e modernize as cargas de trabalho existentes.

Administrar
Administre o ambiente e as cargas de trabalho.

Organizar
Alinhe as pessoas para permitir a adoção e as operações de nuvem.
Objetivos

Embora a nuvem ofereça uma imensa flexibilidade em relação às opções de design e arquitetura, as empresas precisam de uma metodologia consistente e comprovada para adotar tecnologias de nuvem. O Microsoft Cloud Adoption Framework para Azure atende a essa necessidade, ajudando a conduzir as decisões em todo o processo de adoção da nuvem.
No entanto, a adoção da nuvem é apenas um meio para alcançar um fim. A adoção da nuvem bem-sucedida começa bem antes de um fornecedor de plataformas de nuvem ser selecionado. Ela começa quando a empresa e os responsáveis por tomar a decisão de TI percebem que a nuvem pode acelerar um objetivo de transformação empresarial específico. O Cloud Adoption Framework pode ajudar as empresas a alinhar estratégias de negócios, cultura e alteração técnica a fim de atingir os resultados desejados.
A estrutura de adoção de nuvem fornece orientações técnicas relacionadas ao Microsoft Azure. Como os clientes ainda podem estar em processo de escolha de um fornecedor de nuvem, a estrutura fornece diretrizes independentes de nuvem para facilitar as decisões estratégicas.

Público-alvo
Esta orientação afeta os negócios, a tecnologia e a cultura das empresas. As funções afetadas incluem líderes comerciais, tomadores de decisão comercial, tomadores de decisão de TI, finanças, administradores da empresa, operações de TI, segurança de TI e conformidade, governança de TI, entre outros. Cada função usa seu próprio vocabulário e tem diferentes objetivos e indicadores de desempenho. Um único conjunto de boas práticas não é capaz de endereçar todos os públicos-alvo com eficiência.
Aqui entra o Cloud Architect. O Cloud Architect atua como o líder de ideias e facilitador para reunir esses públicos. A Microsoft projetou essa coleção de guias para ajudar os Cloud Architects a facilitar as conversas certas com os públicos-alvo corretos e orientar a tomada de decisões. A transformação capacitada pela nuvem depende da função do Cloud Architect para ajudar a guiar as decisões em toda a empresa e a TI.
Cada seção do Cloud Adoption Framework representa outra especialização ou variante da função de Cloud Architect. Estas seções também criam oportunidades para compartilhar as responsabilidades de arquitetura de nuvem com uma equipe de Cloud Architect. Por exemplo, a seção de governança destina-se a Cloud Architects que tenham foco em mitigar riscos técnicos. Alguns provedores de nuvem referem-se a esses especialistas como Cloud Custodians, mas nós preferimos o termo Cloud Guardian ou, coletivamente, equipe de governança de nuvem.

Como usar o Cloud Adoption Framework para o Azure
Caso sua empresa esteja conhecendo o Azure agora, comece lendo a Introdução ao Cloud Adoption Framework. Essa visão geral apresenta uma orientação prescritiva à transformação digital da sua empresa, explicando cada etapa do processo de jornada para a nuvem.
Além disso, sua empresa pode contar com parceiros especializados como a Kumulus, que já tem apoiando empresas de diversos tamanhos e segmentos na adoção de nuvem, utilizando os conceitos e boas práticas existentes no Cloud Adoption Framework.

API Management APIs Cloud DevOps Serverless

Porque sua empresa deveria utilizar API Management

Organizações no mundo inteiro compreendem, cada vez mais, o potencial das APIs, mas ainda poucos compreendem a real necessidade do correto gerenciamento de APIs. Para atingir este objetivo é necessário o uso de soluções conhecidas como API Management. Atualmente, tais soluções são oferecidas por diversos players de tecnologia, e sua grande maioria é oferecida como serviço através da nuvem.O gerenciamento de APIs se tornou uma necessidade por diversos motivos, e o objetivo deste artigo é te ajudar a compreender melhor este conceito e sua importância na atual economia digital.Antes de falar sobre o Gerenciamento de APIs, é importante entender para que serve uma API.O que são APIs?APIs expõem dados para uso por aplicativos e os desenvolvedores que as criam. Eles tornam os ativos da empresa acessíveis por aplicativos e se tornaram a ferramenta pela qual as empresas adicionaram uma camada digital às suas interações com clientes, funcionários e parceiros. Basicamente, uma API especifica como os componentes de software devem interagir e se comunicar, de uma maneira mais “segura” e flexível.As organizações estão implementando estratégias para gerenciar suas APIs, para que possam responder a mudanças rápidas nas demandas dos clientes. Na maioria dos casos, essas organizações adotam uma arquitetura de microsserviços para atender às demandas, acelerando o desenvolvimento de software. APIs baseadas em HTTP tornaram-se o método preferido para interação síncrona entre arquiteturas de microsserviços. Essas APIs são a cola que conecta todos os microsserviços. O gerenciamento dessas APIs permite que uma organização garanta que as APIs sejam usadas em conformidade com as políticas corporativas e permita a governança por níveis adequados de segurança, pois alguns serviços podem exigir políticas de segurança diferentes das de outros.É neste momento que entra o API Management.Por que usar um API Management?O API Management é responsável pelos processos de distribuição, controle e análise das APIs que conectam aplicativos e dados da empresa e de outras plataformas. O objetivo do API Management é permitir que as organizações que criam APIs ou usam APIs de terceiros monitorem a atividade e garantam que as necessidades dos desenvolvedores e aplicativos que usam a API sejam atendidas.Além disso, o API Management tem, como um dos principais objetivos, centralizar o controle das suas APIs – incluindo análises, controle de acesso, monetização e fluxos de trabalho do desenvolvedor. Uma solução de gerenciamento de API, como o Azure API Management, por exemplo, fornece confiabilidade, flexibilidade, qualidade e velocidade para expor e consumir APIs.Para atingir esses objetivos e garantir que as APIs públicas e internas sejam consumíveis e seguras, uma solução de gerenciamento de API deve fornecer, no mínimo, controle de acesso, limites de taxa e políticas de uso. A maioria das soluções de API Management também inclui os seguintes recursos:Um portal para desenvolvedores: Utilizar um portal de desenvolvedor é uma prática comum, e recomendada, para gerenciamento de APIs. Os portais de desenvolvedor geralmente fornecem a documentação das APIs, juntamente com os processos de integração do desenvolvedor, como inscrição e administração da conta;Um API gateway: O API gateway é o ponto de entrada único para todos os clientes. O gateway também determina como os clientes interagem com as APIs por meio do uso de políticas – incluindo os níveis de segurança desejado;Gerenciamento de ciclo de vida da API: As APIs devem ser gerenciáveis desde o design, até a implementação, e, eventualmente, até o fim da sua utilização;Analytics: É importante saber o que está acontecendo com suas APIs – qual consumidor ou aplicativo está chamando qual API e com que frequência. Também é essencial saber quantas APIs falharam e por quê;Suporte para monetização de APIs: Para empresas que tem como objetivo a monetização de APIs, o API Management talvez seja essencial para um controle mais eficaz. É possível monetizar o acesso aos microsserviços por trás das APIs por meio de contratos de uso. O gerenciamento de API permite definir contratos de uso com base em métricas, como o número de chamadas de API, por exemplo. Os consumidores podem ser segmentados e diferenciados por níveis de acesso, e a qualidade do serviço pode ser oferecida a diferentes segmentos.API e SegurançaA segurança é fundamental para as empresas quando elas expõem seus sistemas back-end por meio de APIs. A primeira razão pela qual qualquer empresa consideraria o gerenciamento de API é proteger suas APIs. Não se trata apenas de autenticar e autorizar o acesso à API, mas também de políticas para bloquear ataques, garantir que dados confidenciais não sejam acidentalmente ou intencionalmente vazados e revogar uma API comprometida que foi concedida a um usuário.O gerenciamento da API também deve fornecer logs e trilhas de auditoria para oferecer suporte à análise offline e à solução de problemas em tempo real.Outro recurso importante são as cotas de API e a interrupção de pico, para que o tráfego nos sistemas back-end seja adequadamente controlado e gerenciado. Por exemplo, os hacks públicos que ocorreram contra a API do aplicativo Snapchat são um exemplo do que pode dar errado se sua API não estiver protegida. Por exemplo, o uso da limitação de taxa teria frustrado pelo menos um dos hacks que atingiram o Snapchat entre os anos de 2013 e 2014. Hoje em dia o Snapchat e a grande maioria das grandes empresas que tem algum tipo de exposição de APIs, com certeza, utilizam soluções robustas de API Management, mas é importante pensar em tais níveis de controle desde o começo do desenvolvimento de suas aplicações.Desenvolvimento com API ManagementA experiência do desenvolvedor é essencial para a adoção e o sucesso de suas APIs. As APIs da sua empresa são inúteis se ninguém as usar. Para permitir a rápida adoção de suas APIs, o API Management pode prover um portal para colocar todas as APIs em um único local, facilitando a descoberta e o teste dessas APIs. Os melhores portais fornecem uma experiência completa de autoatendimento, onde os desenvolvedores podem selecionar as APIs e os níveis de serviço necessários, obter acesso seguro, monitorar seu uso da API e até monetizar e participar do compartilhamento de receita com o provedor da API (no caso de APIs de terceiro). Outra característica muito importante do portal é um mecanismo de feedback, como blogs de suporte ao cliente, fóruns e conteúdo da comunidade. Como vimos, o API Management proporciona uma experiência superior para a exposição de APIs e o efetivo consumo das mesmas.Segurança, portais de desenvolvedores, análises e monetização são apenas alguns dos principais motivos pelos quais você precisa de uma ferramenta robusta de gerenciamento de API. Para aplicar conceitos de desenvolvimento desacoplado e realmente obter as vantagens do desenvolvimento de aplicações Cloud Native, um API Management é essencial.Tá afim de conhecer melhor o funcionamento do API Management? Entre em contato com a Kumulus. Somos especialistas em Application Modernization e podemos ajudar sua organização a aplicar novos conceitos de desenvolvimento e tirar benefícios tangíveis levando suas aplicações para a nuvem da forma correta.

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Education Serverless

Parte 3/3 – Learn: Desvendando o poderoso Kubernetes – Casos de Uso Reais

Desvendando o Kubernetes – Casos de Uso ReaisNos artigos anteriores, da nossa série sobre Kubernetes, você aprendeu o que é Kubernetes, como ele funciona, e aprendeu também quais são os principais componentes do Kubernetes.Neste terceiro artigo e último da nossa série sobre Kubernetes, você vai conhecer casos de uso reais usando Kubernetes. Como empresas como Spotify, China Unicom, NAV e APPdirect adoratam Kubernetes como orquestrador de containers, reduzindo custos de TI e otimizando tempo em processos complexos.Caso de uso: SpotifyO serviço de streaming mais popular do mundo está migrando toda a sua orquestração de containers para o Kubernetes (k8s)Criada em 2008, o Spotify, é a plataforma de streaming mais popular do mundo, que, nos últimos 10 anos, cresceu mais de 200 milhões de usuários ativos mensais em todo o mundo.O DESAFIO:“Nosso objetivo é capacitar criadores de conteúdo e possibilitar uma real experiência imersiva auditiva nos consumidores que temos hoje – e esperamos também, que isto aconteça com os consumidores que teremos no futuro”, diz Jai Chakrabarti, Diretor de Engenharia, Infraestrutura e Operações da Spotify.Você pode ler também:Learn: Desvendando o poderoso Kubernetes – nodes, containers e clustersLearn: Desvendando o poderoso Kubernetes – Por dentro dos seus componentesAo iniciar a adoção dos microsserviços e Docker, o Spotify tinha microsserviços em contêineres dentro de todas as suas VMs, usando um sistema de orquestração de containers caseiro, chamado Helios.A SOLUÇÃO:“Nós vimos uma incrível comunidade crescendo a cerca do Kubernetes e queríamos muito fazer parte dela”, diz Chakrabarti.”Kubernetes é mais rico em recursos do que o Helios e mais, “Queríamos nos beneficiar da velocidade adicional e do custo reduzido, além de nos alinharmos com o restante do setor nas melhores práticas e ferramentas”. Ao mesmo tempo, o time queria contribuir com a sua experiência e influência no crescimento da comunidade Kubernetes. “A migração, que pode acontecer em paralelo com o Helios rodando, acontece sem problemas já que o “Kubernetes se encaixa muito bem como um complemento e agora como um substituto do Helios”, diz Chakrabarti.OS RESULTADOS:O time de cloud passou a maior parte do tempo de 2018 abordando os principais problemas tecnológicos, necessários para uma migração que, segundo Chakrabarti, começou tarde naquele ano, mas que está sendo o foco principal agora em 2019.“Uma pequena porcentagem da nossa frota foi migrada para o Kubernetes, e algumas das coisas que estamos ouvindo dos nossos times, são que eles estão tendo menos necessidade de se focar no provisionamento de capacidade manual, e mais tempo focando na entrega de recursos para o Spotify”, diz Chakrabarti.”O maior serviço atualmente em execução no Kubernetes recebe cerca de 10 milhões de solicitações por segundo como um serviço agregado e beneficia muito no autoescalonamento” diz o Engenheiro de Confiabilidade do Site, James Wen.Ele acrescenta, “Antes, os times tinham que esperar uma hora para criar um novo serviço e obter um host operacional para executá-lo na produção, mas com o Kubernetes, eles podem fazer isso em minutos”. Além do mais, com os recursos de empacotamento de lixo e multilocação do Kubernetes, a utilização da CPU melhorou em média de duas até três vezes.” Caso de uso: China UnicomEntenda como a China Unicom implementou containers, usando o Kubernetes para aumentar a eficiência e diminuir custos de TIAgora vamos mostrar o caso de uso da China Unicom, uma das principais operadoras de telecomunicação da China, com cerca de 300 milhões de usuários ativos.O DESAFIO: A China Unicom executa vários data centers, com milhares de servidores em cada um usando os contêineres de Docker, VMWare e infraestrutura do OpenStack, desde 2016.“Infelizmente, a taxa de utilização de recursos foi relativamente baixa e não tínhamos uma plataforma cloud para acomodar nossos milhões de aplicativos”. diz Chengyu Zhang, líder da Plataforma de Tecnologia R&DAtualmente a China Unicom está focando no desenvolvimento interno, usando tecnologias open-source. O time técnico do China Unicom Lab de Zhang começou a procurar opções de orquestração de containers open-source, para a sua infraestrutura de cloud.A SOLUÇÃO:Por causa do rápido crescimento da comunidade open-source, o Kubernetes foi uma escolha natural para o time de cloud da China Unicom. Seu serviço de cloud que agora roda em  Kubernetes, hospeda 50 microsserviços e todos os novos desenvolvimentos que têm sido feitos desde então.“O Kubernetes tem melhorado nossa experiência usando a infraestrutura cloud” diz Zhang. “Não há nenhuma tecnologia alternativa que possa replicar isso”. A China Unicom também usa Istio para a estrutura de microsserviços, Envoy, CoreDNS e Fluentd.OS RESULTADOS:Na China Unicom, implantar Kubernetes melhorou a eficiência operacional e de desenvolvimento. A utilização de recursos aumentou em 20-50%, reduzindo os custos de infraestrutura de TI e o tempo de implantação passou de algumas horas para 5-10 minutos.“Isso é principalmente por causa do self-healing e a escalabilidade, assim podemos aumentar nossa eficiência em operações e manutenção”. “Por exemplo, atualmente temos cinco pessoas mantendo nossos múltiplos sistemas. Nós nunca poderíamos imaginar que alcançaríamos essa escalabilidade em tão pouco tempo”.diz Zhang.Caso de Uso: NAVComo a NAV, uma startup de pontuação de crédito para pequenas empresas, reduziu os custos de infraestrutura em 50% após adotar o Kubernetes.Fundada em 2012, a americana Nav fornece aos proprietários de pequenas empresas, acesso às suas pontuações de crédito empresarial de todas as três principais agências de crédito comercial-Equifax, Experian e Dun & Bradstreet- e financiam opções que melhor atendam as suas necessidades.O DESAFIO: “Com cinco anos de vida, a startup cresceu rápido, nosso ambiente de cloud estava ficando grande e nosso uso desses ambientes estava extremamente devagar, tipo 1%”, diz o Diretor de Engenharia Travis Jeppson. “Queríamos que nosso uso de ambiente em cloud fosse mais integrado com o que realmente precisávamos, então começamos a observar a conteinerização e orquestração para nos ajudar a sermos capazes de executar trabalhos, que eram distintos uns dos outros, mas poderiam compartilhar um pool de recursos similares.”A SOLUÇÃO:Depois de aumentar o número de soluções de orquestração, o time da Nav decidiu adotar o Kubernetes, rodando na AWS. “A força da comunidade em torno do Kubernetes foi um forte motivo, bem como sua origem no Google. E mais, as outras soluções tendiam a ser bastante pesadas, muito complexas, muito grandes, e muito difíceis de gerenciar apenas fora do BAT”, diz Jeppson. “Kubernetes nos proporcionou um jeito simples de aderir a uma solução de orquestração, que se encaixa nas nossas necessidades no momento, com a possibilidade de escalar, permitindo que pudéssemos crescer com ele, com a capacidade de incorporar mais recursos e funcionalidades no futuro”.OS RESULTADOS:A equipe de quatro pessoas colocou o Kubernetes para rodar em rápidos seis meses, e toda a migração dos 25 microsserviços da Nav foi completada em outros seis. Os resultados foram impressionantes: a utilização de recursos, teve o impactante aumento de 1% para 40%, e o lançamento de um novo serviço que, antes levava duas semanas, agora leva menos de impressionantes 10 minutos, as implantações aumentaram em cinco vezes e a empresa está economizando 50% nos custos com infraestrutura. Caso de Uso: APPDIRECTComo a APPDIRECT, uma plataforma de comércio de ponta a ponta para produtos e serviços baseados em cloud, apoiou o aumento em 10x de sua equipe de engenharia com o KubernetesA AppDirect fornece uma plataforma de comércio de ponta a ponta para produtos e serviços baseados em cloud. Quando o Diretor de Desenvolvimento de Software, Pierre-Alexandre Lacerte começou a trabalhar lá em 2014, “A companhia tinha uma aplicação monolítica implantada em uma infraestrutura tomcat, e todo o processo de liberação foi mais complicado do que deveria”, diz Pierre. O DESAFIO:”Tínhamos muitos processos manuais, com um engenheiro construindo um recurso, depois outro time pegando as mudanças. Então você tinha bottlenecks no pipeline para enviar um recurso para a produção”.  Ao mesmo tempo, o time de engenharia estava crescendo, e a empresa percebeu que precisava de uma infraestrutura mais robusta, para suportar esse crescimento e aumentar a velocidade das entregas.A SOLUÇÃO: “Minha ideia foi:  vamos criar um ambiente onde os times consigam implantar seus serviços mais rápido, e eles dirão, “Ok, eu não quero construir mais no monolítico. Eu quero construir um serviço”, diz Lacerte. Eles consideraram e projetaram várias tecnologias diferentes antes de decidirem adotar o Kubernetes no início de 2016. O time de Lacerte também integrou o monitoramento do Prometheus à plataforma; rastreamento seria o próximo passo. Hoje, o AppDirect tem mais de 50 microsserviços em produção e 15 clusters do Kubernetes implantados me um dos maiores provedores de cloud do mundo.OS RESULTADOS:”A plataforma do Kubernetes ajudou o time de engenheiros a crescer em 10 vezes nos últimos anos. Aliado ao fato que eles continuam adicionando novas características”, Lacerte diz,“Eu acho que a nossa velocidade teria diminuído muito se não tivéssemos essa infraestrutura”.Mudar para o Kubernetes e serviços significa que as implantações se tornaram mais rápidas devido à menor dependência de scripts de shell frágeis e customizados com comandos SCP. O tempo para implantar uma nova versão diminuiu de 4 horas para alguns minutos. Além disso, investimos muito esforço para transformar as coisas em autoatendimento para os desenvolvedores.“Colocar um novo serviço não requer ingressos ou reuniões do Jira com três times diferentes”, diz Lacerte.Hoje, a empresa tem 1.600 implantações por semana, comparado as 1-30 antes. A empresa também conseguiu economizar movendo seu marketplace e monólitos de faturamento para o Kubernetes a partir de hosts EC2 legados, bem como aproveitando o escalonamento automático, pois o tráfego é maior durante o horário comercial.

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Education

Parte 1/3 – Learn: Desvendando o poderoso Kubernetes – nodes, containers e clusters

Learn: Desvendando o poderoso Kubernetes – nodes, containers e clusters
Se você costuma ler conteúdos sobre Cloud Computing, já deve ter esbarrado na palavra Kubernetes. Nesse artigo, vamos falar um pouco sobre Kubernetes, esse sistema fantástico de gerenciamento, desde a sua criação até a sua importância.

Vamos iniciar falando do logotipo:

Um leme de navio, isso mesmo. Kubernetes se origina da palavra grega “Kuvernetes” que representa a pessoa que comanda o navio mas, para os mais íntimos, “K8s” também serve. Como podemos ver na imagem ao lado, são 7 raios que fazem referência ao nome original do projeto: “Project Seven of Nine” (Projeto Sete de Nove). Sim, é isso mesmo, eles fizeram uma homenagem a Borg de Star Trek Voyager
História do Kubernetes. Como tudo começou:
O Kubernetes foi criado pela Google, uma das maiores empresas no desenvolvimento de tecnologia para containers. A própria empresa afirma que utiliza os contêineres para rodar alguns de seus serviços como o Google Docs e o Gmail.

Depois de um tempo, a Google doou o Kubernetes que se tornou um serviço Open Source (código aberto).

Mas, até agora usamos muito essa palavra “Containers” e afinal, o que eles são?

Afinal, o que são Containers?

Sim, como containers de navio eles isolam. No caso, dados de um SO (Sistema Operacional) dentro de um único hospedeiro. Serve para quando você quer executar várias instâncias dentro de uma única VM.

Como os Containers podem ser executados?

Você pode executar aplicativos isoladamente em um único host de VM já que ele agrupa também suas dependências. Como os containers são protegidos e isolados você não precisa separar VMs para cada aplicativo.

Quais são as utilidades dos Containers?

Isso se dá pois é implantado como uma unidade de host de container, oferecendo assim, um tempo de execução igual tirando os requisitos de infraestrutura e de SO.

São usados na maioria das vezes em soluções que utilizam microsserviços (divide os serviços em partes menores e independentes. Mas falaremos mais sobre isso em um próximo artigo)

Para resumir, os containers virtualizam o Sistema Operacional.

Funções do Kubernetes

E o que o Kubernetes tem a ver com tudo isso?

Os containers são uma solução cada vez mais adotada por organizações pois são extremamente práticos e ágeis, isso cria uma tendência simples: uma vez que você utiliza containers, eles se multiplicam em uma velocidade assombrosa!

E aí que o Kubernetes entra.

Pra você começar com uma base, o Kubernetes faz a automação de gerenciamento de containers.

Funcionamento do Kubernetes:

À primeira vista, o Kubernetes não é muito amigável para marinheiros de primeira viagem.

Ele possui uma estrutura complexa já que existem vários componentes responsáveis por seu funcionamento.

O que são Pods e Clusters?

No seu núcleo, ocorre o gerenciamento da posição dos pods em um nó de cluster.

São muitos nomes técnicos de uma vez, então vamos explicar superficialmente para você:

O cluster é a combinação de vários computadores para que eles trabalhem juntos, nele contém os Masters e os nós Workers.

E os pods representam um conjunto de containers em execução no cluster. Ele cria uma camada extra  de abstração permitindo solucionar parte dos problemas relacionados a sua proliferação.

Master é a máquina que controla os nós do Kubernetes. É nela onde se originam as tarefas do cluster. Seus componentes rodam assim:

No próximo artigo falaremos sobre grandes empresas têm trabalhado com o  Kubernetes  em operações robustas.

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Microsoft Azure

Learn: Como o Data Lake pode apoiar no processo de tomada de decisão baseada em dados

Antes de aprender sobre o Azure Data Lake, vamos iniciar falando sobre o conceito que existe por trás de um Data Lake.
O que é um Data Lake?
Um Data Lake é um repositório que armazena uma grande quantidade de dados brutos em seu formato nativo. Enquanto um Data Warehouse armazena dados em arquivos e pastas, um Data Lake usa uma arquitetura plana para armazenar dados. Cada elemento de dados em um Data Lake é atribuído a um identificador exclusivo e marcado como um conjunto de tags de metadados estendidos.
Como o Data Lake pode ser usado nos Negócios
Um Data-Lake mantém dados em seus formatos nativos e lida com os três Vs de Big Data – volume, velocidade e variedade – enquanto fornece ferramentas para análise, consulta e processamento. Os Data Lakes eliminam todas as restrições de um sistema de armazenamento de dados típicos, fornecendo espaço ilimitado, tamanho de arquivo irrestrito, esquema de leitura e várias maneiras de acessar dados (incluindo programação, consultas semelhantes a SQL e chamadas REST).

Os principais recursos do Azure Data Lake

O Azure Data Lake oferece os seguintes recursos:

Capacidade de armazenar e analisar dados de qualquer tipo e tamanho
Múltiplos métodos de acesso, incluindo U-SQL, Spark, Hive, Hbase e Storm
Escala dinâmica para corresponder às prioridades da sua empresa
Segurança de nível empresarial com o Active Directory do Azure
Pode ser gerenciado e suportado por um SLA de nível corporativo

Em termos gerais, O Azure Data Lake é classificado em três partes:

Por dentro do Data Lake Store

O Data Lake Store fornece um único repositório no qual as organizações carregam dados de praticamente qualquer volume. Ele foi projetado para processamento e análise de alto desempenho a partir de aplicativos e ferramentas HDFS, incluindo suporte para cargas de trabalho de baixa latência. No Data Lake Store, os dados podem ser compartilhados para colaboração com segurança de nível corporativo.
O poder do Azure Data Lake Analytics
O Data Lake Analytics é um serviço de análise distribuído baseado no Apache YARN que complementa o armazenamento do Data Lake. O serviço de análise pode lidar com trabalhos de qualquer escala instantaneamente com o poder de processamento sob demanda e um modelo de pagamento conforme o uso. Ele inclui um tempo de execução distribuído escalável chamado U-SQL, uma linguagem que unifica os benefícios do SQL..

Fonte: dzone.com

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Big Data Cloud Microsoft Azure

Data Lake vs. Data Warehouse: Saiba qual dos dois modelos é o ideal para o seu negócio!

Data Lake e Data Warehouse são tecnologias críticas para a análise de negócios, mas a diferença entre os dois podem ser confusas. Os dois são diferentes? Um é mais estável que o outro? Qual modelo é o mais adequado ao seu negócio? Criamos este artigo para desmistificar esses dois sistemas de manipulação de dados.O que é um Data Lake?Data Lake é um repositório projetado para armazenar dados estruturados e não estruturados.Um Data Lake pode armazenar qualquer tipo de dado usando seu formato nativo, sem limites de tamanho. Os Data Lakes foram desenvolvidos principalmente para lidar com os volumes de Big Data e, portanto, eles são excelentes no processamento de dados não estruturados.Normalmente movemos todos os dados para um Data-Lake sem transformá-los. Cada elemento de dados em um Data-Lake é atribuído a um identificador exclusivo e é amplamente marcado para que você possa localizar o elemento posteriormente por meio de uma consulta. Um Data Lake funciona como no exemplo da imagem abaixo:  Data Warehouse, o que é?Como já mencionamos no artigo anterior, (Learn: Data Warehouse, como isso pode ajudar a sua empresa a ir para o próximo nível) Um Data Warehouse é um repositório de grande capacidade que fica no topo de vários bancos de dados. Ele é projetado para armazenar quantidades medias a grandes de dados estruturados para análises frequentes e repetitivas. Normalmente, um Data Warehouse é usado para reunir dados de várias fontes estruturadas para análise, geralmente para fins comerciais.  Data Lakes vs. Data WarehousesImagine um depósito: há uma quantidade limitada de espaço e as caixas devem caber em um determinado espaço na prateleira. Cada caixa precisa ser armazenada em ordem para que você possa encontrá-la posteriormente, provavelmente será necessário projetar o Data Warehouse para que o inventário antigo seja removido periodicamente. Os limites de um Data-Lake podem aumentar ou diminuir com base no conteúdo. Se mais dados são lançados, o Data Lake se expande e, quando os dados são removidos, ele diminui. Os dados não precisam ser estruturados, porque são utilizadas tags extensivas para localizar os dados, quando necessário. Como saber o que é mais ideal para a sua empresa, Data Lake ou Data WarehouseA resposta simples é que você provavelmente precisa dos dois.Os Data Warehouses são ideais para tipos de relatório ou visão repetível que é comum nas práticas de negócios, como relatórios de vendas mensais, rastreamento de vendas por região ou tráfego do website. Um Data Lake é útil quando você tem uma análise menos direta para executar. Por exemplo, talvez você queira realizar uma análise do comportamento do tráfego em seu website. Estas são ferramentas complementares em vez de concorrentes.

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Microsoft Azure

Learn: Data Warehouse, como isso pode ajudar a sua empresa a ir para o próximo nível

Conforme as organizações migram para a nuvem, a arquitetura de um Modern Data Warehouse (MDW) permite um novo nível de desempenho e escalabilidade. Um modern data warehouse permite reunir dados em qualquer escala com facilidade e obter insights por meio de painéis analíticos, relatórios operacionais ou análises avançadas.
Começando pelo início, o que significa Data Warehouse?
Data warehouse, traduzindo ao pé da letra: é um banco de dados de suporte à decisão, que normalmente é mantido separadamente do banco de dados operacional da organização. Data warehouse não é um produto, mas um ambiente. É uma construção de um sistema de informações que fornece aos usuários informações atuais e históricas de suporte à decisão, difíceis de acessar ou apresentar em armazenamento de dados operacionais tradicionais.

Data warehouse é o núcleo do sistema de BI que é construído para análise de dados e relatórios.

Data warehouse também é conhecido pelos seguintes nomes:

·         Sistema de apoio à decisão (DSS)
·         Sistema de informação executiva
·         Sistema de informação gerencial
·         Solução de business intelligence
·         Aplicação analítica
·         Armazém de dados


Como começou o Data warehouse
O Data warehouse nasceu da necessidade de armazenar e apresentar dados à medida que os sistemas de computadores se tornaram mais complexos e necessários para lidar com quantidades crescentes de informações.

Fatos curiosos sobre Data Warehouse ao longo da história:

· O Data Warehousing começou no final dos anos 80, quando o funcionário da IBM Paul Murphy e Barry Devlin desenvolveu o Business Data Warehouse.

· No entanto, o conceito real foi dado por Inmon Bill. Ele foi considerado o pai do data warehouse. Ele havia escrito sobre uma variedade de tópicos para construção, uso e manutenção do armazém e da Fábrica de Informações Corporativas.

· Em 1960 – Dartmouth e General Mills em um projeto de pesquisa conjunta, desenvolvem os termos “dimensões e fatos”.

·  Em 1970 – a Nielsen e a IRI introduzem data marts dimensionais para vendas no varejo.

· Em 1983 – A Tera Data Corporation apresenta um sistema de gerenciamento de banco de dados especificamente projetado para suporte a decisões.

Como funciona um Data warehouse?

Um Data Warehouse funciona como um repositório central onde as informações chegam de uma ou mais fontes de dados. Os dados fluem para um data warehouse a partir do sistema transacional e de outros bancos de dados relacionais.

Os dados podem ser:

Estruturados
Semi-estruturados
Dados não estruturados

Os dados são processados e transformados para que os usuários possam acessar os dados processados no Data Warehouse por meio de ferramentas de Business Intelligence, clientes SQL e planilhas. Um data warehouse mescla informações provenientes de diferentes fontes em um banco de dados.

Ao mesclar todas essas informações em um único local, os tomadores de decisão conseguem analisar seus clientes de maneira mais holística. O armazenamento de dados torna possível a mineração de dados.
Os 03 tipos de Data Warehouse
1. Enterprise Data warehouse: O Enterprise Data Warehouse fornece informações baseadas em dados que dão suporte à tomada decisão para toda a empresa. Ele oferece uma abordagem unificada para organizar e representar dados. Ele também fornece a capacidade de classificar dados de acordo com o assunto e dar acesso de acordo com essas divisões.

2.  Armazenamento de Dados Operacionais: O Operational Data Store, que também é chamado de ODS, é um armazenamento de dados necessário, quando nem o Data warehouse nem os sistemas OLTP oferecem suporte às necessidades de relatórios das organizações. No ODS, o data warehouse é atualizado em tempo real. Por isso, é preferido para atividades de rotina como armazenamento de registros dos funcionários.

3.    Data Mart: Um datamart é um subconjunto do armazagem de dados. É projetado para uma determinada linha de negócios, como vendas ou finanças. Em um datamart independente, os dados podem ser extraídos diretamente das fontes.
As 04 etapas gerais do Data Warehouse
No passado, as organizações iniciaram o uso relativamente simples de data warehousing. No entanto, com o tempo, o uso mais sofisticado de data warehousing começou.

A seguir estão as 04 etapas gerais de uso do data warehouse:

1. Banco de dados operacional offline: Nesse estágio, os dados são copiados de um sistema operacional para outro servidor. Dessa forma, o carregamento, o processamento e o relatório dos dados copiados não afetam o desempenho do sistema operacional.

2. Armazenamento de dados Offline: Os dados do Data warehouse são atualizados regularmente a partir do Banco de Dados Operacional. Os dados no Data warehouse são mapeados e transformados para tender aos objetivos do Data warehouse.

3. Data Warehouse em tempo real:  Nesse estágio, os data warehouses são atualizados sempre que qualquer transação ocorre no banco de dados operacional. Por exemplo, sistemas de reservas de linhas aéreas ou ferroviárias.

4. Data Warehouse integrado: Nesse estágio, os Data Warehouses são atualizados continuamente quando o sistema operacional executa uma transação. O data warehouse gera transações que são repassadas ao sistema operacional.
Componentes do data warehouse:
Os 4 componentes dos Data Warehouses são:

1. Load Manager: também é chamado de componente frontal. Ele executa todas as operações associadas à extração e carga de dados no warehouse. Essas operações incluem transformações para preparar os dados para entrar no Data Warehouse.

2. Warehouse Manager: realiza operações associadas ao gerenciamento de dados. Ele executa operações como análise de dados para garantir consistência, criação de índices e visualizações.

3. Query Manager: o gerenciador de consultas também é conhecido como componente de backend. Realiza todas as operações operacionais relacionadas ao gerenciamento de consultas de usuários. As operações desses componentes do Data Warehouse são consultas diretas às tabelas apropriadas para agendar a execução de consultas.

4. Ferramentas de acesso do usuário final: é categorizado em seis grupos diferentes, como:

a.     Relatório de dados
b.       Ferramentas de consulta
c.       Ferramentas de desenvolvimento de aplicativos
d.       Ferramentas EIS
e.       Ferramentas OLAP
f.       Ferramentas de mineração de dados
Data warehouse apoiando os tomadores de decisão
Gestores usam data warehouse como apoiador para a tomada de decisão baseada em uma grande massa de dados.

·      Usuários que usam processos personalizados e complexos para obter informações de várias fontes de dados;

·     Também é usado por pessoas que precisam de tecnologia simples para acessar os dados;

·   Também é essencial para as pessoas que querem uma abordagem sistemática para tomar decisões;

·   Usuários que precisam de  desempenho rápido em uma grande quantidade de dados, o que é uma necessidade para relatórios, grades ou gráficos, o data warehouse é útil.

Quais são os segmentos em que o Data Warehouse é utilizado?
O Data warehouse é utilizado em diversos setores importantes:

CIAs aéreas: No sistema de companhias aéreas, é usado para fins de operação, como atribuição de tripulação, análises de rentabilidade, promoções de programas de passageiros frequentes, etc.

Bancos: É amplamente utilizado no setor bancário para gerenciar os recursos disponíveis de forma eficaz. Alguns bancos também usam para a pesquisa de mercado, análise de desempenho do produto e operações.

Cuidados de saúde: O setor de serviços de saúde também usou o Data warehouse para criar estratégias e prever resultados, gerar relatórios de tratamento do paciente, compartilhar dados com companhias de seguros, serviços de assistência médica, etc.

Setor público: No setor público, o data warehouse é usado para coleta de informações. Ele ajuda as agências governamentais a manter e analisar registros fiscais e registros de políticas de saúde.

Setor de Investimento e Seguros: Nesse setor, o data warehouse é usado principalmente para analisar padrões de dados, tendências de clientes e acompanhar os movimentos do mercado.

Varejo: Nas redes de varejo, o data warehouse é amplamente utilizado para distribuição e marketing. Também ajuda a rastrear itens, entender padrões de compra de clientes, promoções e também é usado para determinar a política de preços.

Telecomunicação: Um data warehouse é usado para obter insights na criação de promoções de produtos, decisões de vendas e decisões de distribuição.
Os principais passos da implementação do Datawarehouse:

Melhores práticas para implementar um Data Warehouse
·    É importante montar um plano para testar a consistência, precisão e integridade dos dados.
·      O data warehouse deve estar bem integrado, bem definido e com registro de data e hora.
·    Ao projetar o data warehouse, certifique-se de usar a ferramenta certa, manter o ciclo de vida cuidar dos conflitos de dados e estar pronto para aprender seus erros.
·         Garantir a participação de todas as partes interessadas, incluindo as pessoas de negócios, no processo de implementação do data warehouse. Estabeleça que data warehousing é um projeto conjunto/equipe.
·         Prepare um plano de treinamento para os usuários finais.

Ferramentas de Data Warehouse
Existem muitas ferramentas de Data Warehouse disponíveis no mercado. Aqui estão algumas mais proeminentes:
1.       MarkLogic: O MarkLogic é uma solução que facilita e agiliza a integração de dados usando uma variedade de recursos corporativos. Ela ajuda a realizar operações de pesquisa muito complexas. Ele pode consultar diferentes tipos de dados, como documentos, relacionamentos e metadados.
2.       SQL Data Warehouse:  O SQL Data Warehouse é um EDW (Enterprise Data Warehouse) que aproveita o MPP (Massively Parallel Processing) para executar rapidamente consultas complexas em petabytes de dados. Ajuda a otimizar as experiencias dos clientes, aumentando a eficiência operacional.
3.       Oracle: Oracle é um banco de dados que oferece uma ampla gama de opções de soluções de data warehouse, tanto no local quanto na nuvem.
4.       Amazon RedShift: O Amazon Redshift é uma ferramenta de data warehouse. É uma ferramenta simples para analisar todos os tipos de dados usando SQL padrão e ferramentas de BI existentes. Ele também permite executar consultas complexas contra petabytes de dados usando SQL padrão e ferramentas de BI existentes.

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Microsoft Azure

How To: Executando o Elasticsearch no Kubernetes

Neste conteúdo falaremos sobre Kubernetes, este fantástico e mega conhecido orquestrador de conteiners. E sobre Elasticsearch, essa poderosa ferramenta para buscas e análise de dados, construída para trabalhar com grandes volumes de dados.Vamos iniciar falando sobre alguns princípios e conceitos importantes.O que é Kubernetes?O Kubernetes é uma tecnologia de orquestração de contêiners, que é apenas uma maneira sofisticada de dizer que ajuda a gerenciar e a executar seus aplicativos empacotados. Basicamente parece assim:Kubernetes na prática:O Kubernetes possui um conjunto de excelentes recursos que são muito úteis, especialmente quando falamos de ambientes de produção:Replicação de contêiners entre diferentes nós para garantir alta disponibilidadeRecuperação automática de contêiners quando ele falha por qualquer motivoAutoescala de contêiners com base em métricas de cluster Kubernetes, como o consumo de CPULiberação de deployments e rollbacks de deploymentDescoberta de serviço. Isso é bom para deploying de microsserviçosBalanceamento de carga e gerenciamento de volumeVerificações da saúde do contêinerIsolamento de recursos lógicos usando NamespacesControle de recursos e cotas por NamespacesO que é Elasticsearch?O Elasticsearch é uma poderosa ferramenta para realização de buscas e análise de dados construída para trabalhar com grandes volumes de dados, permitindo indexar documentos e realizar buscas nesses documentos em (quase) tempo real.Por que usar Elasticsearch?O Elasticsearch realiza buscas por índice invertido e esse princípio trabalha da seguinte forma:No momento em que um documento é indexado, o Elasticsearch separa todos os seus termos em Tokens.Em seguida ele faz uma medição para definir quais tokens são relevantes, eliminando assim artigos, preposições, etc.O próximo passo do Elasticsearch é organizar os tokens em um índice e informar em cada token quais documentos contém esse token.Quando uma busca for feita ela agirá sobre esse índice invertido ao invés de vasculhar cada documento individualmente, procurando pelos termos buscados.Esse processo de indexação é o que torna o Elasticsearch um motor de busca em semi-tempo-real.Você sabia?Seu aplicativo (por exemplo, software de blog) é criado e empacotado em um contêiner.O aplicativo conteinerizado é implantado no Kubernetes e executado dentro de um Pod.O Kubernetes Services é o que torna os Pods em outras implementações acessíveis ao nosso Pod, por exemplo, nosso software de blog pode se comunicar com o banco de dados e servidor de e-mail através de seu respectivo serviço, assumindo que eles estão rodando no Kubernetes.Você pode usar regras Affinity e Anti-Affinity para dizer ao Kubernetes como espalhar os Pods em execução nos nós (por exemplo, todos os pods verdes nunca devem ser executados no mesmo nó no caso de falha).As implementações do Kubernetes não mantêm nenhum estado para seus pods, pois supõe-se que o aplicativo executado por baixo seja completamente sem estado. Se você quiser que o aplicativo mantenha o estado e o volume de armazenamento entre as reinicializações, como acontece quando executamos um banco de dados ou o Elasticsearch nesse caso, você deve usar um StatefulSet, que é uma implantação que pode manter o estado:É importante saber:Um PersistentVolume (PV) é uma abstração do Kubernetes para espaço de armazenamento em algum volume fornecido pelo hardware subjacente. Podem ser unidades do AWS EBS, Google Cloud Disks etc.Um PersistentVolumeClaim (PVC) é uma maneira de uma implantação, ou StatefulSet, solicitar algum espaço de armazenamento. O armazenamento que foi alocado sobreviverá às reinicializações de Pod e Node.O StatefulSet é apenas outro tipo de Implantação, mas é capaz de manter as identidades de Pod e os volumes dos Pods.Agora que você já sabe o que é Kubernetes e Elasticsearch, vamos à questão mais importante de todas: O Kubernetes é uma boa escolha para o Elasticsearch?Afinal de contas, o Kubernetes é uma boa escolha para o Elasticsearch?O Kubernetes foi originalmente projetado e construído para executar cargas de trabalhos efêmeras – o que significa aplicativos sem estado e vários trabalhos. Os StatefulSets, que fazem implantações com informações de estado, podem ser utilizados como adicionais, embora funcionem muito bem. Topologia de Cluster do ElasticsearchAo trabalhar com o Elastic Stack, a parte dele que precisa de atenção especial é o próprio Elasticsearch – aquela camada que armazena os dados e faz toda a mágica. Um cluster típico do Elasticsearch será parecido com isto:Existem pelo menos 2 nós de dados que persistem todos os dados; eles recebem consultas e solicitações de indexação e fazem todo o “trabalho pesado”.Existem exatamente 3 nós qualificados pelo mestre, que gerenciarão os metadados do cluster. Ao contrário do que muitos pensam, os nós mestre nunca lidam com operações de dados, apenas operações de metadados de cluster. Eles nem sequer chegam perto dos dados.Opcionalmente, há dois ou mais nós clientes, também conhecidos como nós de coordenação. Esses são os nós que são expostos aos consumidores dos dados do cluster e servem como proxies HTTP. Se eles não forem implantados, os nós de dados servirão como nós de coordenação, o que é algo que geralmente gostamos de evitar em clusters de tamanho decente.O ponto de acesso do cluster é, em seguida, qualquer um dos nós de coordenação ou um balanceador de carga que pode ser colocado na frente deles.Uma topologia de cluster do Elasticsearch em execução no Kubernetes será muito semelhante:É importante saber:O mesmo layout de nós; nós clientes separados ainda são opcionais.Nós de dados são implantados como StatefulSets com PV e PVCs. Portanto, eles preservam sua identidade e armazenamento também por meio de reinicializações e falhas, que é o comportamento desejado.Nós mestres podem ser implantados como Implantações ou StatefulSets. Implantar como StatefulSets apenas tornará as recuperações de cluster mais rápidas.Um serviço sem cabeçalho para cada StatefulSet é criado e usado para a descoberta entre clusters.Um serviço de Kubernetes LoadBalancer é criado para encaminhar solicitações HTTP para os nós coordenadores.Seus aplicativos, bem como ferramentas como Kibana, Logstash, Beats, etc, devem ser configurados para falar com o serviço LoadBalancer. Aqui também é onde você deve configurar a segurança HTTPS via Kubernetes Ingress ou algo semelhante.Implantando o Elasticsearch no KubernetesExistem atualmente dois gráficos Helm que você pode usar para implantar o Elasticsearch no Kubernetes. Ambos criarão a topologia conforme descrito acima:O Elasticsearch Helm Chart do repositório principal de gráficos:https://github.com/helm/charts/tree/master/stable/elasticsearchO Elastic Helm Chart oficial, que está atualmente no status Alpha:https://github.com/elastic/helm-chartsAlternativamente, você pode ir hardcore e escrever os arquivos YAML do Kubernetes você mesmo. Não é muito difícil de arrancar, apenas tem algumas dicas (por exemplo vm.max_map_count, configuração securityContext.fsGroup: 1000, um correto readinessProbe, anti-afinidade, etc).Fonte: dzone.com

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Cloud Microsoft Azure

2/3 – Learn: Azure Databricks – Ambiente de produção e criando clusters em escala

Neste segundo conteúdo falaremos sobre ambiente de produção do Azure Databricks, como escalar a criação de clusters em segundos e workspace de colaboração e segurança.

O Azure Databricks tem um ambiente de produção seguro e confiável na nuvem, gerenciado e com suporte de especialistas do Spark. Você pode:

Criar clusters em segundos.
Autoescalar clusters dinâmica e verticalmente, incluindo clusters sem servidor, e compartilhá-los entre equipes.

– Usar clusters programaticamente usando as APIs REST.
– Usar recursos de integração de dados seguros criados com base no Spark que permitem unificar seus dados sem centralização.

Obter acesso instantâneo para os recursos mais recentes do Apache Spark com cada versão.

Databricks Runtime

O Databricks Runtime é criado sobre o Apache Spark e é nativamente criado para a nuvem do Azure.

Com a opção Sem servidor, o Azure Databricks abstrai completamente a complexidade da infraestrutura e a necessidade de experiência especializada para instalar e configurar sua infraestrutura de dados. A opção Sem servidor ajuda os cientistas de dados a iterar rapidamente como uma equipe.
Para engenheiros de dados, que se importam com o desempenho dos trabalhos de produção, o Azure Databricks fornece um mecanismo do Spark mais rápido e eficaz por meio de várias otimizações na camada de E/S e na camada de processamento (Databricks I/O).

Workspace de colaboração

Por meio de um ambiente colaborativo e integrado, o Azure Databricks simplifica o processo de exploração de dados, criação de protótipos e de execução de aplicativos controlados por dados no Spark.

Determine como usar dados com fácil exploração de dados.
Documente seu progresso em blocos de notas em R, Python, Scala ou SQL.

Visualize dados com apenas alguns cliques e use ferramentas conhecidas como Matplotlib, ggplot ou d3.

Segurança do Enterprise

O Azure Databricks fornece a segurança a nível empresarial do Azure, incluindo a integração do Azure Active Directory, controles com base em função e SLAs que protegem seus dados e o seu negócio.

– A integração com o Azure Active Directory permite que você execute soluções completas baseadas no Azure usando o Azure Databricks.

– O acesso baseado em funções do Azure Databricks permite que as permissões refinadas de usuário para blocos de notas, clusters, trabalhos e dados.

– SLAs de nível empresarial.

Integração com serviços do Azure

O Azure Databricks integra-se profundamente aos armazenamentos e bancos de dados do Azure: SQL Data Warehouse, Cosmos DB, Data Lake Storage e Armazenamento de Blobs.

Integração com o Power BI

Por meio da integração avançada com o Power BI, o Azure Databricks permite que você descubra e compartilhe seus insights de impacto de forma rápida e fácil. Você também pode usar outras ferramentas de BI, como o Software Tableau, por meio de pontos de extremidade de cluster JDBC/ODBC.

Início Rápido: Executar um trabalho de Spark no Azure Databricks usando o portal do Azure
Em nosso próximo artigo, falaremos sobre como executar um trabalho de Spark no Azure Databricks usando o portal do Azure.
Estamos preparados!
Nossos engenheiros cloud estão preparados para apoiar a sua empresa a extrair o melhor da fantástica plataforma Azure Databricks.

Atuamos em todas as frentes de implementação do Azure Databricks:

– Criação
– Configuração
– Conexão
– Processo de ETL
– Inserção dentro de um Data Warehouse
– Extração dos dados
– Visualização dos dados no Power BI

Clique aqui para falar com um engenheiro cloud.

Fonte: microsoft.com

LER MAIS ARTIGOS

Acompanhe a Kumulus nas redes sociais:

Facebook

Instagram

Youtube

Envelope

Social media & sharing icons powered by UltimatelySocial