Na engenharia de software, existe uma correlação direta entre o desempenho da equipe e a construção de aplicativos robustos e estáveis. A comunidade de dados pretende adotar os rigorosos princípios de engenharia comumente usados ​​no desenvolvimento de software em suas próprias práticas, o que inclui abordagens sistemáticas para design, desenvolvimento, testes e manutenção. Isso requer uma combinação cuidadosa de aplicativos e métricas para fornecer conhecimento, precisão e controle completos. Significa avaliar todos os aspectos do desempenho de uma equipe, com foco na melhoria contínua, e se aplica tanto ao mainframe quanto aos ambientes distribuídos e de nuvem — talvez mais.

Isso é conseguido por meio de práticas como infraestrutura como código (IaC) para implantações, testes automatizados, observabilidade de aplicativos e propriedade completa do ciclo de vida do aplicativo. Através de anos de pesquisa, o Pesquisa e avaliação de DevOps (DORA) A equipe identificou quatro métricas principais que indicam o desempenho de uma equipe de desenvolvimento de software:

• Frequência de implantação – Com que frequência uma organização libera para produção com sucesso
• Prazo para mudanças – A quantidade de tempo que um commit leva para entrar em produção
• Alterar taxa de falha – A porcentagem de implantações que causam falha na produção
• Hora de restaurar o serviço – Quanto tempo leva para uma organização se recuperar de uma falha na produção

Essas métricas fornecem uma forma quantitativa de medir a eficácia e a eficiência das práticas de DevOps. Embora grande parte do foco em torno da análise de DevOps esteja em tecnologias distribuídas e em nuvem, o mainframe ainda mantém uma posição única e poderosa, e pode usar as métricas DORA 4 para promover a sua reputação como motor do comércio.

Esta postagem do blog discute como a BMC Software adicionou IA generativa da AWS capacidades para seu produto BMC AMI zAdviser Enterprise. O zAdviser usa Rocha Amazônica fornecer resumo, análise e recomendações de melhoria com base nos dados de métricas DORA.

Desafios de rastrear métricas DORA 4

Acompanhar as métricas do DORA 4 significa juntar os números e colocá-los em um painel. No entanto, medir a produtividade é essencialmente medir o desempenho dos indivíduos, o que pode fazer com que se sintam examinados. Esta situação pode exigir uma mudança na cultura organizacional para focar nas conquistas coletivas e enfatizar que as ferramentas de automação melhoram a experiência do desenvolvedor.

Também é vital evitar focar em métricas irrelevantes ou rastrear dados excessivamente. A essência das métricas DORA é destilar informações em um conjunto básico de indicadores-chave de desempenho (KPIs) para avaliação. O tempo médio de restauração (MTTR) costuma ser o KPI mais simples de rastrear. A maioria das organizações usa ferramentas como o BMC Helix ITSM ou outras que registram eventos e monitoram problemas.

Capturar o tempo de espera para mudanças e a taxa de falhas nas mudanças pode ser mais desafiador, especialmente em mainframes. O tempo de espera para alterações e os KPIs de taxa de falha de alterações agregam dados de confirmações de código, arquivos de log e resultados de testes automatizados. O uso de um SCM baseado em Git reúne esses insights perfeitamente. As equipes de mainframe que usam a plataforma DevOps baseada em Git da BMC, AMI DevX, podem coletar esses dados tão facilmente quanto as equipes distribuídas.

Visão geral da solução

O Amazon Bedrock é um serviço totalmente gerenciado que oferece uma variedade de modelos básicos (FMs) de alto desempenho de empresas líderes de IA, como AI21 Labs, Anthropic, Cohere, Meta, Stability AI e Amazon por meio de uma única API, juntamente com um amplo conjunto de recursos necessários para criar aplicativos generativos de IA com segurança, privacidade e IA responsável.

O BMC AMI zAdviser Enterprise fornece uma ampla variedade de KPIs de DevOps para otimizar o desenvolvimento de mainframe e permitir que as equipes identifiquem e resolvam problemas de forma proativa. Usando aprendizado de máquina, o AMI zAdviser monitora funções de construção, teste e implantação de mainframe em cadeias de ferramentas DevOps e, em seguida, oferece recomendações baseadas em IA para melhoria contínua. Além de capturar e gerar relatórios sobre KPIs de desenvolvimento, o zAdviser captura dados sobre como os produtos BMC DevX são adotados e usados. Isso inclui o número de programas que foram depurados, o resultado dos esforços de teste usando as ferramentas de teste DevX e muitos outros pontos de dados. Esses pontos de dados adicionais podem fornecer insights mais profundos sobre os KPIs de desenvolvimento, incluindo as métricas DORA, e podem ser usados ​​em esforços futuros de IA generativa com o Amazon Bedrock.

O diagrama de arquitetura a seguir mostra a implementação final do zAdviser Enterprise utilizando IA generativa para fornecer resumo, análise e recomendações de melhoria com base nos dados de KPI das métricas DORA.

O fluxo de trabalho da solução inclui as seguintes etapas:

1. Crie a consulta de agregação para recuperar as métricas do Elasticsearch.
2. Extraia os dados de métricas de mainframe armazenados do zAdviser, que está hospedado em Amazon Elastic Compute Nuvem (Amazon EC2) e implantado na AWS.
3. Agregue os dados recuperados do Elasticsearch e forme o prompt para a chamada de API generativa do AI Amazon Bedrock.
4. Passe o prompt de IA generativo para o Amazon Bedrock (usando o modelo Claude2 da Anthropic no Amazon Bedrock).
5. Armazene a resposta do Amazon Bedrock (um documento formatado em HTML) em Serviço de armazenamento simples da Amazon (Amazônia S3).
6. Acione o processo de e-mail de KPI por meio de AWS Lambda:
   1. O email formatado em HTML é extraído do Amazon S3 e adicionado ao corpo do email.
   2. O PDF para KPIs do cliente é extraído do zAdviser e anexado ao email.
   3. O e-mail é enviado aos assinantes.

A captura de tela a seguir mostra o resumo LLM das métricas DORA geradas usando o Amazon Bedrock e enviadas como um e-mail ao cliente, com um anexo em PDF que contém o relatório do painel de KPI de métricas DORA do zAdviser.

Principais takeaways

Nesta solução, você não precisa se preocupar com a exposição de seus dados na internet quando enviados para um cliente de IA. A chamada de API para o Amazon Bedrock não contém informações de identificação pessoal (PII) nem dados que possam identificar um cliente. Os únicos dados transmitidos consistem em valores numéricos na forma de KPIs métricos DORA e instruções para as operações da IA ​​generativa. É importante ressaltar que o cliente de IA generativo não retém, aprende ou armazena em cache esses dados.

A equipe de engenharia do zAdviser conseguiu implementar rapidamente esse recurso em um curto espaço de tempo. O rápido progresso foi facilitado pelo investimento substancial da zAdviser em serviços AWS e, mais importante, pela facilidade de usar o Amazon Bedrock por meio de chamadas de API. Isso ressalta o poder transformador da tecnologia de IA generativa incorporada na API Amazon Bedrock. Esta API, equipada com o repositório de conhecimento específico do setor zAdviser Enterprise e personalizada com métricas DevOps específicas da organização coletadas continuamente, demonstra o potencial da IA ​​neste campo.

A IA generativa tem o potencial de reduzir a barreira de entrada na construção de organizações orientadas pela IA. Os grandes modelos de linguagem (LLMs), em particular, podem trazer um enorme valor para empresas que buscam explorar e usar dados não estruturados. Além dos chatbots, os LLMs podem ser usados ​​em diversas tarefas, como classificação, edição e resumo.

Conclusão

Esta postagem discutiu o impacto transformacional da tecnologia de IA generativa na forma de APIs Amazon Bedrock equipadas com o conhecimento específico do setor que o BMC zAdviser possui, adaptado com métricas de DevOps específicas da organização coletadas continuamente.

Confira o Site do BMC para saber mais e configurar uma demonstração.

---

Sobre os autores

Sunil Bemarkar é arquiteto de soluções parceiro sênior na Amazon Web Services. Ele trabalha com vários fornecedores independentes de software (ISVs) e clientes estratégicos em todos os setores para acelerar sua jornada de transformação digital e adoção da nuvem.

Vij Balakrishna é gerente sênior de desenvolvimento de parceiros na Amazon Web Services. Ela ajuda fornecedores independentes de software (ISVs) de todos os setores a acelerar sua jornada de transformação digital.

Spencer Hallman é o gerente principal de produto do BMC AMI zAdviser Enterprise. Anteriormente, ele foi gerente de produto do BMC AMI Strobe e do BMC AMI Ops Automation para Batch Thruput. Antes do gerenciamento de produtos, Spencer era especialista no assunto de desempenho de mainframe. Sua experiência diversificada ao longo dos anos também incluiu programação em múltiplas plataformas e linguagens, bem como trabalho na área de Pesquisa Operacional. Ele possui mestrado em administração de empresas com concentração em pesquisa operacional pela Temple University e bacharelado em ciência da computação pela University of Vermont. Ele mora em Devon, PA e quando não está participando de reuniões virtuais, gosta de passear com os cachorros, andar de bicicleta e passar tempo com a família.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/achieve-devops-maturity-with-bmc-ami-zadviser-enterprise-and-amazon-bedrock/