Konuşmaya dayalı yapay zeka (AI) asistanları, sorguların en uygun AI işlevlerine akıllı şekilde yönlendirilmesi yoluyla hassas, gerçek zamanlı yanıtlar sağlayacak şekilde tasarlanmıştır. AWS üretken yapay zeka hizmetleriyle Amazon Ana Kayasıgeliştiriciler, kullanıcı isteklerini ustalıkla yöneten ve yanıtlayan sistemler oluşturabilir. Amazon Bedrock, tek bir API kullanarak AI21 Labs, Anthropic, Cohere, Meta, Stability AI ve Amazon gibi önde gelen AI şirketlerinin yüksek performanslı temel modelleri (FM'ler) seçimini ve geniş bir yelpazeyi sunan, tümüyle yönetilen bir hizmettir. güvenlik, gizlilik ve sorumlu yapay zeka ile üretken yapay zeka uygulamaları oluşturmak için ihtiyacınız olan yetenekler.
Bu gönderide yapay zeka asistanlarının geliştirilmesine yönelik iki temel yaklaşım değerlendiriliyor: Amazon Bedrock Temsilcilerive gibi açık kaynak teknolojilerini kullanmak Dil Zinciri. İhtiyaçlarınıza en uygun yolu seçebilmeniz için her birinin avantajlarını ve zorluklarını araştırıyoruz.
Yapay zeka asistanı nedir?
Yapay zeka asistanı, doğal dil sorgularını anlayan ve kullanıcı adına görevleri gerçekleştirmek veya bilgi almak için çeşitli araçlarla, veri kaynaklarıyla ve API'lerle etkileşime giren akıllı bir sistemdir. Etkili yapay zeka asistanları aşağıdaki temel yeteneklere sahiptir:
- Doğal dil işleme (NLP) ve konuşma akışı
- Konuşma bağlamının nüanslarına dayalı olarak ilgili bilgileri anlamak ve almak için bilgi tabanı entegrasyonu ve anlamsal aramalar
- Veritabanı sorguları ve özel görevler gibi görevlerin yürütülmesi AWS Lambda fonksiyonlar
- Özel konuşmaları ve kullanıcı isteklerini yönetme
Örnek olarak Nesnelerin İnterneti (IoT) cihaz yönetimini kullanarak yapay zeka asistanlarının faydalarını gösteriyoruz. Bu kullanım durumunda yapay zeka, verileri getiren veya görevleri otomatikleştiren komutlarla teknisyenlerin makineleri verimli bir şekilde yönetmesine yardımcı olarak üretimdeki operasyonları kolaylaştırabilir.
Amazon Bedrock Aracıları yaklaşımı
Amazon Bedrock Temsilcileri bir şirketin sistemleri ve veri kaynakları genelinde çok adımlı görevleri çalıştırabilen üretken yapay zeka uygulamaları oluşturmanıza olanak tanır. Aşağıdaki temel yetenekleri sunar:
- Talimatlardan, API ayrıntılarından ve veri kaynağı bilgilerinden otomatik bilgi istemi oluşturma, haftalarca süren hızlı mühendislik çabasından tasarruf sağlar
- Temsilcileri bir şirketin veri kaynaklarına güvenli bir şekilde bağlamak ve ilgili yanıtları sağlamak için Erişim Artırılmış Üretim (RAG)
- İstekleri mantıksal dizilere bölerek ve gerekli API'leri çağırarak çok adımlı görevlerin düzenlenmesi ve çalıştırılması
- Bir düşünce zinciri (CoT) izleme yoluyla aracının muhakemesinin görünürlüğü, sorun gidermeye ve model davranışının yönlendirilmesine olanak tanır
- Aracılar üzerinde gelişmiş kontrol için otomatik olarak oluşturulan bilgi istemi şablonunu değiştirmeye yönelik bilgi istemi mühendisliği yetenekleri
Amazon Bedrock için Agent'ları kullanabilir ve Amazon Bedrock için Bilgi Tabanları Karmaşık yönlendirme kullanım senaryoları için yapay zeka asistanlarını oluşturmak ve dağıtmak. Altyapı yönetimini basitleştirerek, ölçeklenebilirliği artırarak, güvenliği artırarak ve farklılaşmamış ağır yükleri azaltarak geliştiriciler ve kuruluşlar için stratejik bir avantaj sağlarlar. Ayrıca yönlendirme mantığı, vektörleştirme ve bellek tamamen yönetildiğinden daha basit uygulama katmanı koduna da olanak tanırlar.
Çözüme genel bakış
Bu çözüm, Anthropic'in Claude v2.1'i Amazon Bedrock'ta kullanırken IoT cihaz yönetimi ve işlemleri için özel olarak tasarlanmış, konuşabilen bir yapay zeka asistanı sunar. Yapay zeka asistanının temel işlevleri, kapsamlı bir dizi talimat tarafından yönetilir. sistem istemiYeteneklerini ve uzmanlık alanlarını tanımlayan, Bu rehberlik, yapay zeka asistanının cihaz bilgilerinin yönetilmesinden operasyonel komutların çalıştırılmasına kadar çok çeşitli görevleri yerine getirebilmesini sağlar.
Sistem isteminde ayrıntılı olarak açıklandığı gibi bu yeteneklerle donatılmış yapay zeka asistanı, kullanıcı sorularını yanıtlamak için yapılandırılmış bir iş akışını takip eder. Aşağıdaki şekil, ilk kullanıcı etkileşiminden son yanıta kadar her adımı gösteren bu iş akışının görsel bir temsilini sağlar.
İş akışı aşağıdaki adımlardan oluşur:
- Süreç, kullanıcının asistandan bir görevi gerçekleştirmesini talep etmesiyle başlar; örneğin, belirli bir IoT cihazı için maksimum veri noktasının sorulması
device_xxx
. Bu metin girişi yakalanır ve AI asistanına gönderilir. - Yapay zeka asistanı kullanıcının metin girişini yorumlar. Bağlamı anlamak ve gerekli görevleri belirlemek için sağlanan konuşma geçmişini, eylem gruplarını ve bilgi tabanlarını kullanır.
- Kullanıcının amacı ayrıştırılıp anlaşıldıktan sonra yapay zeka asistanı görevleri tanımlar. Bu, asistan tarafından sistem istemine ve kullanıcının girişine göre yorumlanan talimatlara dayanmaktadır.
- Görevler daha sonra bir dizi API çağrısı aracılığıyla yürütülür. Bu kullanılarak yapılır Tepki Görevi sırayla işlenen bir dizi adıma ayıran istem:
- Cihaz metrik kontrolleri için şunu kullanırız:
check-device-metrics
Daha sonra sorgulayan Lambda işlevlerine bir API çağrısını içeren eylem grubu Amazon Atina istenen veriler için. - Başlatma, durdurma veya yeniden başlatma gibi doğrudan cihaz eylemleri için
action-on-device
Lambda işlevini çağıran eylem grubu. Bu işlev, IoT cihazına komutlar gönderen bir işlemi başlatır. Bu gönderi için Lambda işlevi, kullanarak bildirimler gönderir. Amazon Basit E-posta Hizmeti (Amazon SES). - Amazon Bedrock için Bilgi Tabanlarını, yerleşik olarak depolanan geçmiş verilerden almak için kullanırız. Amazon Açık Arama Hizmeti vektör veritabanı.
- Cihaz metrik kontrolleri için şunu kullanırız:
- Görevler tamamlandıktan sonra nihai yanıt Amazon Bedrock FM tarafından oluşturularak kullanıcıya geri iletilir.
- Agents for Amazon Bedrock, aynı konuşmayı sürdürmek için durum bilgisi olan bir oturum kullanarak bilgileri otomatik olarak depolar. Yapılandırılabilir boşta kalma zaman aşımı süresi dolduktan sonra durum silinir.
Teknik Genel Bakış
Aşağıdaki diyagramda Agents for Amazon Bedrock ile bir yapay zeka asistanının dağıtımına yönelik mimari gösterilmektedir.
Aşağıdaki temel bileşenlerden oluşur:
- Konuşma arayüzü – Konuşma arayüzü, makine öğrenimi (ML) ve veri bilimi için özel, görsel olarak çekici web uygulamalarının oluşturulmasını kolaylaştıran açık kaynaklı bir Python kütüphanesi olan Streamlit'i kullanır. Barındırıldığı yer Amazon Elastik Konteyner Hizmeti (Amazon ECS) ile AWS Fargateve bir Application Load Balancer kullanılarak erişilir. Çalıştırmak için Fargate'i Amazon ECS ile kullanabilirsiniz kaplar sunucuları, kümeleri veya sanal makineleri yönetmeye gerek kalmadan.
- Amazon Bedrock Temsilcileri – Agents for Amazon Bedrock, kullanıcı sorgularını bir dizi akıl yürütme adımı ve ilgili eylemler aracılığıyla tamamlar. ReAct istemi:
- Amazon Bedrock için Bilgi Tabanları – Amazon Bedrock için Bilgi Tabanları tam olarak yönetilen sağlar RAG AI asistanına verilerinize erişim sağlamak için. Kullanım durumumuzda, cihaz özelliklerini bir dosyaya yükledik. Amazon Basit Depolama Hizmeti (Amazon S3) kovası. Bilgi tabanına veri kaynağı olarak hizmet eder.
- Eylem grupları – Bunlar, IoT cihazları ve diğer AWS hizmetleriyle etkileşim kurmak için belirli Lambda işlevlerini çağıran tanımlanmış API şemalarıdır.
- Amazon Bedrock'ta Antropik Claude v2.1 – Bu model kullanıcı sorgularını yorumlar ve görev akışını düzenler.
- Amazon Titan Gömmeleri – Bu model, doğal dildeki metni (tek sözcüklerden karmaşık belgelere kadar) sayısal vektörlere dönüştüren bir metin yerleştirme modeli olarak hizmet eder. Bu, vektör arama yeteneklerini etkinleştirerek sistemin etkili arama için kullanıcı sorgularını en ilgili bilgi tabanı girişleriyle anlamsal olarak eşleştirmesine olanak tanır.
Çözüm, API çağrılarına yanıt olarak kod çalıştırmak için Lambda, veri kümelerini sorgulamak için Athena, bilgi tabanlarında arama yapmak için OpenSearch Hizmeti ve depolama için Amazon S3 gibi AWS hizmetleriyle entegredir. Bu hizmetler, doğal dil komutları aracılığıyla IoT cihaz işlemleri yönetimi için kusursuz bir deneyim sağlamak üzere birlikte çalışır.
Faydaları
Bu çözüm aşağıdaki avantajları sunar:
- Uygulama karmaşıklığı:
- Agents for Amazon Bedrock temeldeki karmaşıklığın çoğunu soyutlayarak geliştirme çabalarını azalttığı için daha az kod satırı gerekir
- Amazon Bedrock için Bilgi Tabanları vektörleştirme ve depolama işlemlerini gerçekleştirdiğinden OpenSearch Hizmeti gibi vektör veritabanlarının yönetimi basitleştirilmiştir
- Çeşitli AWS hizmetleriyle entegrasyon, önceden tanımlanmış eylem grupları aracılığıyla daha verimli hale getirildi
- Geliştirici deneyimi:
- Amazon Bedrock konsolu, hızlı geliştirme, test etme ve temel neden analizi (RCA) için kullanıcı dostu bir arayüz sunarak genel geliştirici deneyimini geliştirir
- Çeviklik ve esneklik:
- Agents for Amazon Bedrock, kullanıma sunulduğunda daha yeni FM'lere (Claude 3.0 gibi) sorunsuz yükseltme yapılmasına olanak tanır, böylece çözümünüz en son gelişmelerle güncel kalır
- Hizmet kotaları ve sınırlamaları AWS tarafından yönetilerek altyapıyı izleme ve ölçeklendirme yükünü azaltır
- Güvenlik:
- Amazon Bedrock, AWS'nin katı güvenlik ve uyumluluk standartlarına uygun, kurumsal güvenlik incelemelerini potansiyel olarak basitleştiren, tümüyle yönetilen bir hizmettir
Agents for Amazon Bedrock, konuşmaya dayalı yapay zeka uygulamaları oluşturmak için kolaylaştırılmış ve yönetilen bir çözüm sunsa da bazı kuruluşlar açık kaynak yaklaşımını tercih edebilir. Bu gibi durumlarda bir sonraki bölümde ele alacağımız LangChain gibi çerçeveleri kullanabilirsiniz.
LangChain dinamik yönlendirme yaklaşımı
LangChain, büyük dil modellerinin (LLM'ler) ve dinamik yönlendirme özelliklerinin entegrasyonuna izin vererek konuşma yapay zekası oluşturmayı basitleştiren açık kaynaklı bir çerçevedir. LangChain İfade Dili (LCEL) ile geliştiriciler yönlendirmeBu, önceki adımın çıktısının bir sonraki adımı tanımladığı, deterministik olmayan zincirler oluşturmanıza olanak tanır. Yönlendirme, LLM'lerle etkileşimlerde yapı ve tutarlılık sağlamaya yardımcı olur.
Bu gönderi için IoT cihaz yönetimine yönelik yapay zeka asistanıyla aynı örneği kullanıyoruz. Ancak temel fark, sistem komutlarını ayrı ayrı ele almamız ve her zinciri ayrı bir varlık olarak ele almamız gerektiğidir. Yönlendirme zinciri, kullanıcının girişine göre hedef zincirine karar verir. Karar, LLM'nin desteğiyle, sistem istemi, sohbet geçmişi ve kullanıcının sorusu iletilerek verilir.
Çözüme genel bakış
Aşağıdaki diyagramda dinamik yönlendirme çözümü iş akışı gösterilmektedir.
İş akışı aşağıdaki adımlardan oluşur:
- Kullanıcı yapay zeka asistanına bir soru sorar. Örneğin, "Cihaz 1009 için maksimum ölçümler nelerdir?"
- Bir LLM, her soruyu aynı oturumdaki sohbet geçmişiyle birlikte değerlendirir ve sorunun niteliğini ve hangi konu alanına (SQL, eylem, arama veya KOBİ gibi) girdiğini belirler. LLM girişi sınıflandırır ve LCEL yönlendirme zinciri bu girişi alır.
- Yönlendirici zinciri, girdiye göre hedef zinciri seçer ve LLM'ye aşağıdaki sistem istemi sağlanır:
LLM, sorgunun doğasını ve hangi konu alanına girdiğini belirlemek için kullanıcının sorusunu sohbet geçmişiyle birlikte değerlendirir. LLM daha sonra girişi sınıflandırır ve aşağıdaki formatta bir JSON yanıtı çıkarır:
Yönlendirici zinciri, karşılık gelen hedef zincirini çağırmak için bu JSON yanıtını kullanır. Her biri kendi sistem istemine sahip, konuya özel dört hedef zinciri vardır:
- SQL ile ilgili sorgular, veritabanı etkileşimleri için SQL hedef zincirine gönderilir. Oluşturmak için LCEL'i kullanabilirsiniz. SQL zinciri.
- Eylem odaklı sorular, operasyonları yürütmek için özel Lambda hedef zincirini çağırır. LCEL ile kendinizinkini tanımlayabilirsiniz. özel işlev; bizim durumumuzda bu, ayrıştırılmış cihaz kimliğine sahip bir e-posta göndermek için önceden tanımlanmış bir Lambda işlevini çalıştıran bir işlevdir. Örnek kullanıcı girişi "Cihazı 1009 kapatın" olabilir.
- Arama odaklı sorular şuraya doğru ilerliyor: RAG Bilgi alımı için hedef zinciri.
- KOBİ ile ilgili sorular, özel bilgiler için KOBİ/uzman hedef zincirine gider.
- Her hedef zinciri girdiyi alır ve gerekli modelleri veya işlevleri çalıştırır:
- SQL zinciri, sorguları çalıştırmak için Athena'yı kullanır.
- RAG zinciri anlamsal arama için OpenSearch Hizmetini kullanır.
- Özel Lambda zinciri, eylemler için Lambda işlevlerini çalıştırır.
- KOBİ/uzman zinciri, Amazon Bedrock modelini kullanarak öngörüler sağlar.
- Her hedef zincirinden gelen yanıtlar LLM tarafından tutarlı içgörüler halinde formüle edilir. Bu bilgiler daha sonra kullanıcıya iletilerek sorgu döngüsü tamamlanır.
- Kullanıcı girişi ve yanıtları şu şekilde saklanır: Amazon DinamoDB Mevcut oturum için ve geçmiş etkileşimlerden LLM'ye bağlam sağlamak. DynamoDB'de kalıcı bilgilerin süresi uygulama tarafından kontrol edilir.
Teknik Genel Bakış
Aşağıdaki diyagram LangChain dinamik yönlendirme çözümünün mimarisini göstermektedir.
Web uygulaması, Fargate ile Amazon ECS'de barındırılan Streamlit üzerinde oluşturulmuştur ve bir Application Load Balancer kullanılarak erişilmektedir. LLM'miz olarak Amazon Bedrock'ta Anthropic'in Claude v2.1 sürümünü kullanıyoruz. Web uygulaması, LangChain kütüphanelerini kullanarak modelle etkileşime girer. Ayrıca son kullanıcıların ihtiyaçlarını karşılamak için OpenSearch Service, Athena ve DynamoDB gibi çeşitli diğer AWS hizmetleriyle de etkileşime girer.
Faydaları
Bu çözüm aşağıdaki avantajları sunar:
- Uygulama karmaşıklığı:
- Daha fazla kod ve özel geliştirme gerektirse de LangChain, yönlendirme mantığı ve çeşitli bileşenlerle entegrasyon üzerinde daha fazla esneklik ve kontrol sağlar.
- OpenSearch Hizmeti gibi vektör veritabanlarını yönetmek, ek kurulum ve yapılandırma çalışmaları gerektirir. Vektörleştirme işlemi kodda uygulanır.
- AWS hizmetleriyle entegrasyon daha fazla özel kod ve yapılandırma gerektirebilir.
- Geliştirici deneyimi:
- LangChain'in Python tabanlı yaklaşımı ve kapsamlı belgeleri, Python'a ve açık kaynak araçlarına zaten aşina olan geliştiriciler için cazip olabilir.
- Hızlı geliştirme ve hata ayıklama, Amazon Bedrock konsolunu kullanmaya kıyasla daha fazla manuel çaba gerektirebilir.
- Çeviklik ve esneklik:
- LangChain geniş bir LLM yelpazesini destekleyerek farklı modeller veya sağlayıcılar arasında geçiş yapmanıza olanak tanıyarak esnekliği artırır.
- LangChain'in açık kaynak yapısı, topluluk odaklı iyileştirmelere ve özelleştirmelere olanak tanır.
- Güvenlik:
- Açık kaynaklı bir çerçeve olarak LangChain, kuruluşlar içinde daha sıkı güvenlik incelemeleri ve incelemeler gerektirebilir ve bu da potansiyel olarak ek yük getirebilir.
Sonuç
Konuşmaya dayalı yapay zeka asistanları, operasyonları kolaylaştırmak ve kullanıcı deneyimlerini geliştirmek için dönüştürücü araçlardır. Bu gönderide AWS hizmetlerini kullanan iki güçlü yaklaşım incelendi: Amazon Bedrock için yönetilen Aracılar ve esnek, açık kaynaklı LangChain dinamik yönlendirme. Bu yaklaşımlar arasındaki seçim kuruluşunuzun gereksinimlerine, geliştirme tercihlerine ve istenen özelleştirme düzeyine bağlıdır. AWS, hangi yolu seçerseniz seçin, iş ve müşteri etkileşimlerinde devrim yaratan akıllı yapay zeka asistanları oluşturmanıza olanak sağlar.
Çözüm kodunu ve dağıtım varlıklarını burada bulabilirsiniz. GitHub deposu, her konuşmaya dayalı yapay zeka yaklaşımı için ayrıntılı adımları takip edebileceğiniz yer.
Yazarlar Hakkında
Emir Hakme Pensilvanya merkezli bir AWS Çözüm Mimarıdır. Kuzeydoğu bölgesindeki Bağımsız Yazılım Satıcıları (ISV'ler) ile iş birliği yaparak onlara AWS Bulut üzerinde ölçeklenebilir ve modern platformlar tasarlama ve oluşturma konusunda yardımcı oluyor. AI/ML ve üretken yapay zeka konusunda uzman olan Ameer, müşterilerin bu ileri teknolojilerin potansiyelini açığa çıkarmasına yardımcı oluyor. Boş zamanlarında motosiklete binmeyi ve ailesiyle kaliteli vakit geçirmeyi seviyor.
Şaron Li Boston merkezli Amazon Web Services'te AI/ML Çözüm Mimarıdır ve AWS'de Üretken Yapay Zeka uygulamaları tasarlama ve oluşturma tutkusuna sahiptir. Yenilikçi çözümler için AWS AI/ML hizmetlerinden yararlanmak amacıyla müşterilerle işbirliği yapıyor.
Kawsar Kamal Amazon Web Services'te altyapı otomasyonu ve güvenlik alanında 15 yılı aşkın deneyime sahip kıdemli bir çözüm mimarıdır. Müşterilerin Bulutta ölçeklenebilir DevSecOps ve AI/ML çözümleri tasarlamasına ve oluşturmasına yardımcı oluyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/enhance-conversational-ai-with-advanced-routing-techniques-with-amazon-bedrock/