जनरेटिव डेटा इंटेलिजेंस

अमेज़ॅन बेडरॉक और अमेज़ॅन नेपच्यून | के साथ असंरचित वित्तीय डेटा में छिपे हुए कनेक्शन को उजागर करें अमेज़न वेब सेवाएँ

दिनांक:

परिसंपत्ति प्रबंधन में, पोर्टफोलियो प्रबंधकों को जोखिमों और अवसरों की पहचान करने और निवेश निर्णयों का मार्गदर्शन करने के लिए अपने निवेश जगत में कंपनियों की बारीकी से निगरानी करने की आवश्यकता होती है। आय रिपोर्ट या क्रेडिट डाउनग्रेड जैसी प्रत्यक्ष घटनाओं पर नज़र रखना सीधा है - आप कंपनी के नाम वाले समाचारों के प्रबंधकों को सूचित करने के लिए अलर्ट सेट कर सकते हैं। हालाँकि, किसी कंपनी के पारिस्थितिकी तंत्र में आपूर्तिकर्ताओं, ग्राहकों, भागीदारों या अन्य संस्थाओं पर घटनाओं से उत्पन्न होने वाले दूसरे और तीसरे क्रम के प्रभावों का पता लगाना चुनौतीपूर्ण है।

उदाहरण के लिए, किसी प्रमुख विक्रेता की आपूर्ति श्रृंखला में व्यवधान से डाउनस्ट्रीम निर्माताओं पर नकारात्मक प्रभाव पड़ने की संभावना है। या किसी प्रमुख ग्राहक के लिए शीर्ष ग्राहक का नुकसान आपूर्तिकर्ता के लिए मांग जोखिम पैदा करता है। बहुत बार, ऐसी घटनाएं प्रभावित कंपनी को सीधे तौर पर दिखाने वाली सुर्खियां बनने में विफल रहती हैं, लेकिन फिर भी उन पर ध्यान देना महत्वपूर्ण है। इस पोस्ट में, हम ज्ञान ग्राफ़ और को मिलाकर एक स्वचालित समाधान प्रदर्शित करते हैं जनरेटिव आर्टिफिशियल इंटेलिजेंस (एआई) वास्तविक समय की खबरों के साथ संबंध मानचित्रों को क्रॉस-रेफरेंस करके ऐसे जोखिमों को सामने लाना।

मोटे तौर पर, इसमें दो चरण शामिल हैं: पहला, कंपनियों (ग्राहकों, आपूर्तिकर्ताओं, निदेशकों) के बीच जटिल संबंधों को एक ज्ञान ग्राफ में बनाना। दूसरा, समाचार घटनाओं से दूसरे और तीसरे क्रम के प्रभावों का पता लगाने के लिए जेनरेटिव एआई के साथ इस ग्राफ डेटाबेस का उपयोग करना। उदाहरण के लिए, यह समाधान इस बात पर प्रकाश डाल सकता है कि भागों के आपूर्तिकर्ता की देरी पोर्टफोलियो में डाउनस्ट्रीम ऑटो निर्माताओं के लिए उत्पादन को बाधित कर सकती है, हालांकि किसी को भी सीधे संदर्भित नहीं किया गया है।

AWS के साथ, आप इस समाधान को सर्वर रहित, स्केलेबल और पूरी तरह से इवेंट-संचालित आर्किटेक्चर में तैनात कर सकते हैं। यह पोस्ट ग्राफ़ ज्ञान प्रतिनिधित्व और प्राकृतिक भाषा प्रसंस्करण के लिए उपयुक्त दो प्रमुख AWS सेवाओं पर निर्मित अवधारणा का प्रमाण प्रदर्शित करती है: अमेज़न नेपच्यून और अमेज़ॅन बेडरॉक. नेप्च्यून एक तेज़, विश्वसनीय, पूरी तरह से प्रबंधित ग्राफ़ डेटाबेस सेवा है जो अत्यधिक कनेक्टेड डेटासेट के साथ काम करने वाले एप्लिकेशन को बनाना और चलाना आसान बनाती है। अमेज़ॅन बेडरॉक एक पूरी तरह से प्रबंधित सेवा है जो एक ही एपीआई के माध्यम से एआई21 लैब्स, एंथ्रोपिक, कोहेयर, मेटा, स्टेबिलिटी एआई और अमेज़ॅन जैसी अग्रणी एआई कंपनियों से उच्च प्रदर्शन वाले फाउंडेशन मॉडल (एफएम) का विकल्प प्रदान करती है। सुरक्षा, गोपनीयता और जिम्मेदार एआई के साथ जेनेरिक एआई एप्लिकेशन बनाने की क्षमताएं।

कुल मिलाकर, यह प्रोटोटाइप ज्ञान ग्राफ़ और जेनरेटिव एआई के साथ अलग-अलग बिंदुओं को जोड़कर सिग्नल प्राप्त करने की कला को प्रदर्शित करता है। निवेश पेशेवरों के लिए मुख्य बात शोर से बचते हुए सिग्नल के करीब विकास के शीर्ष पर बने रहने की क्षमता है।

ज्ञान ग्राफ बनाएं

इस समाधान में पहला कदम एक ज्ञान ग्राफ़ बनाना है, और ज्ञान ग्राफ़ के लिए एक मूल्यवान लेकिन अक्सर अनदेखा किया गया डेटा स्रोत कंपनी की वार्षिक रिपोर्ट है। चूँकि आधिकारिक कॉर्पोरेट प्रकाशन रिलीज़ से पहले जांच से गुजरते हैं, इसलिए उनमें मौजूद जानकारी सटीक और विश्वसनीय होने की संभावना होती है। हालाँकि, वार्षिक रिपोर्ट मशीन की खपत के बजाय मानव पढ़ने के लिए एक असंरचित प्रारूप में लिखी जाती है। उनकी क्षमता को उजागर करने के लिए, आपको उनमें मौजूद तथ्यों और संबंधों की संपदा को व्यवस्थित रूप से निकालने और संरचित करने का एक तरीका चाहिए।

अमेज़ॅन बेडरॉक जैसी जेनेरिक एआई सेवाओं के साथ, अब आपके पास इस प्रक्रिया को स्वचालित करने की क्षमता है। आप एक वार्षिक रिपोर्ट ले सकते हैं और रिपोर्ट को ग्रहण करने के लिए एक प्रसंस्करण पाइपलाइन को ट्रिगर कर सकते हैं, इसे छोटे टुकड़ों में तोड़ सकते हैं, और मुख्य संस्थाओं और रिश्तों को बाहर निकालने के लिए प्राकृतिक भाषा समझ को लागू कर सकते हैं।

उदाहरण के लिए, एक वाक्य जिसमें कहा गया है कि "[कंपनी ए] ने [कंपनी बी] से 1,800 इलेक्ट्रिक वैन के ऑर्डर के साथ अपने यूरोपीय इलेक्ट्रिक डिलीवरी बेड़े का विस्तार किया" अमेज़ॅन बेडरॉक को निम्नलिखित की पहचान करने की अनुमति देगा:

  • [कंपनी ए] एक ग्राहक के रूप में
  • [कंपनी बी] एक आपूर्तिकर्ता के रूप में
  • [कंपनी ए] और [कंपनी बी] के बीच आपूर्तिकर्ता संबंध
  • "इलेक्ट्रिक डिलीवरी वैन के आपूर्तिकर्ता" का संबंध विवरण

असंरचित दस्तावेज़ों से ऐसे संरचित डेटा को निकालने के लिए बड़े भाषा मॉडल (एलएलएम) को सावधानीपूर्वक तैयार किए गए संकेत प्रदान करने की आवश्यकता होती है ताकि वे कंपनियों और लोगों जैसी संस्थाओं के साथ-साथ ग्राहकों, आपूर्तिकर्ताओं और अन्य जैसे संबंधों को बाहर निकालने के लिए पाठ का विश्लेषण कर सकें। संकेतों में स्पष्ट निर्देश होते हैं कि क्या देखना है और डेटा को वापस करने की संरचना क्या है। संपूर्ण वार्षिक रिपोर्ट में इस प्रक्रिया को दोहराकर, आप एक समृद्ध ज्ञान ग्राफ बनाने के लिए प्रासंगिक संस्थाओं और संबंधों को निकाल सकते हैं।

हालाँकि, निकाली गई जानकारी को ज्ञान ग्राफ में शामिल करने से पहले, आपको पहले संस्थाओं को स्पष्ट करना होगा। उदाहरण के लिए, ज्ञान ग्राफ़ में पहले से ही एक और '[कंपनी ए]' इकाई हो सकती है, लेकिन यह एक ही नाम के साथ एक अलग संगठन का प्रतिनिधित्व कर सकती है। अमेज़ॅन बेडरॉक व्यवसाय फोकस क्षेत्र, उद्योग और राजस्व उत्पन्न करने वाले उद्योगों और अन्य संस्थाओं के साथ संबंधों जैसी विशेषताओं का तर्क और तुलना कर सकता है ताकि यह निर्धारित किया जा सके कि क्या दोनों संस्थाएं वास्तव में अलग हैं। यह असंबद्ध कंपनियों को गलत तरीके से एक इकाई में विलय करने से रोकता है।

असंबद्धता पूरी होने के बाद, आप अपने नेप्च्यून ज्ञान ग्राफ में विश्वसनीय रूप से नई संस्थाओं और रिश्तों को जोड़ सकते हैं, इसे वार्षिक रिपोर्ट से निकाले गए तथ्यों से समृद्ध कर सकते हैं। समय के साथ, विश्वसनीय डेटा के अंतर्ग्रहण और अधिक विश्वसनीय डेटा स्रोतों के एकीकरण से एक व्यापक ज्ञान ग्राफ बनाने में मदद मिलेगी जो ग्राफ प्रश्नों और विश्लेषण के माध्यम से अंतर्दृष्टि प्रकट करने में सहायता कर सकता है।

जेनरेटिव एआई द्वारा सक्षम यह स्वचालन हजारों वार्षिक रिपोर्टों को संसाधित करना संभव बनाता है और ज्ञान ग्राफ क्यूरेशन के लिए एक अमूल्य संपत्ति को अनलॉक करता है जो अन्यथा आवश्यक अत्यधिक उच्च मैन्युअल प्रयास के कारण अप्रयुक्त हो जाता है।

निम्नलिखित स्क्रीनशॉट दृश्य अन्वेषण का एक उदाहरण दिखाता है जो नेप्च्यून ग्राफ़ डेटाबेस का उपयोग करके संभव है ग्राफ एक्सप्लोरर उपकरण.

समाचार आलेखों को संसाधित करें

समाधान का अगला चरण पोर्टफोलियो प्रबंधकों के समाचार फ़ीड को स्वचालित रूप से समृद्ध करना और उनके हितों और निवेशों से संबंधित लेखों को उजागर करना है। समाचार फ़ीड के लिए, पोर्टफोलियो प्रबंधक किसी भी तृतीय-पक्ष समाचार प्रदाता की सदस्यता ले सकते हैं AWS डेटा एक्सचेंज या उनकी पसंद का कोई अन्य समाचार एपीआई।

जब कोई समाचार लेख सिस्टम में प्रवेश करता है, तो सामग्री को संसाधित करने के लिए एक अंतर्ग्रहण पाइपलाइन को लागू किया जाता है। वार्षिक रिपोर्टों के प्रसंस्करण के समान तकनीकों का उपयोग करते हुए, अमेज़ॅन बेडरॉक का उपयोग समाचार लेख से संस्थाओं, विशेषताओं और संबंधों को निकालने के लिए किया जाता है, जिनका उपयोग ज्ञान ग्राफ़ में संबंधित इकाई की पहचान करने के लिए ज्ञान ग्राफ़ के विरुद्ध स्पष्ट करने के लिए किया जाता है।

ज्ञान ग्राफ में कंपनियों और लोगों के बीच संबंध शामिल हैं, और लेख संस्थाओं को मौजूदा नोड्स से जोड़कर, आप पहचान सकते हैं कि क्या कोई विषय उन कंपनियों के दो हॉप्स के भीतर है जिनमें पोर्टफोलियो मैनेजर ने निवेश किया है या जिसमें रुचि है। ऐसा कनेक्शन ढूंढना इंगित करता है लेख पोर्टफोलियो प्रबंधक के लिए प्रासंगिक हो सकता है, और क्योंकि अंतर्निहित डेटा को ज्ञान ग्राफ में दर्शाया गया है, इसलिए पोर्टफोलियो प्रबंधक को यह समझने में मदद करने के लिए इसकी कल्पना की जा सकती है कि यह संदर्भ क्यों और कैसे प्रासंगिक है। पोर्टफोलियो से कनेक्शन की पहचान करने के अलावा, आप संदर्भित संस्थाओं पर भावना विश्लेषण करने के लिए अमेज़ॅन बेडरॉक का भी उपयोग कर सकते हैं।

अंतिम आउटपुट एक समृद्ध समाचार फ़ीड है जिसमें पोर्टफोलियो प्रबंधक के हित और निवेश के क्षेत्रों पर प्रभाव डालने वाले लेख सामने आते हैं।

समाधान अवलोकन

समाधान की समग्र वास्तुकला निम्नलिखित चित्र की तरह दिखती है।

वर्कफ़्लो में निम्नलिखित चरण होते हैं:

  1. एक उपयोगकर्ता आधिकारिक रिपोर्ट (पीडीएफ प्रारूप में) अपलोड करता है अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बाल्टी। आपके ज्ञान ग्राफ में गलत डेटा के समावेश को कम करने के लिए रिपोर्ट आधिकारिक तौर पर प्रकाशित रिपोर्ट होनी चाहिए (समाचार और टैब्लॉयड के विपरीत)।
  2. S3 ईवेंट अधिसूचना एक आह्वान करती है AWS लाम्बा फ़ंक्शन, जो S3 बकेट और फ़ाइल नाम को भेजता है अमेज़ॅन सरल कतार सेवा (अमेज़ॅन एसक्यूएस) कतार। फर्स्ट-इन-फर्स्ट-आउट (फीफो) कतार यह सुनिश्चित करती है कि आपके ज्ञान ग्राफ में डुप्लिकेट डेटा पेश करने की संभावना को कम करने के लिए रिपोर्ट अंतर्ग्रहण प्रक्रिया क्रमिक रूप से की जाती है।
  3. An अमेज़न EventBridge समय-आधारित ईवेंट का संचालन शुरू करने के लिए हर मिनट चलता है AWS स्टेप फ़ंक्शंस मशीन को अतुल्यकालिक रूप से स्थिति दें।
  4. स्टेप फ़ंक्शंस राज्य मशीन महत्वपूर्ण जानकारी निकालकर और इसे आपके ज्ञान ग्राफ़ में डालकर अपलोड किए गए दस्तावेज़ को संसाधित करने के लिए कार्यों की एक श्रृंखला के माध्यम से चलती है:
    1. Amazon SQS से कतार संदेश प्राप्त करें।
    2. अमेज़ॅन S3 से पीडीएफ रिपोर्ट फ़ाइल डाउनलोड करें, इसे प्रसंस्करण के लिए कई छोटे टेक्स्ट खंडों (लगभग 1,000 शब्द) में विभाजित करें, और टेक्स्ट खंडों को इसमें संग्रहीत करें अमेज़ॅन डायनेमोडीबी.
    3. प्रासंगिक विशेषताओं (जैसे उद्योग) के साथ रिपोर्ट में संदर्भित मुख्य इकाई को निर्धारित करने के लिए पहले कुछ पाठ खंडों को संसाधित करने के लिए अमेज़ॅन बेडरॉक पर एंथ्रोपिक के क्लाउड वी 3 सॉनेट का उपयोग करें।
    4. DynamoDB से टेक्स्ट खंड पुनर्प्राप्त करें और प्रत्येक टेक्स्ट खंड के लिए, अमेज़ॅन बेडरॉक का उपयोग करके संस्थाओं (जैसे कंपनी या व्यक्ति) और उसके संबंध (ग्राहक, आपूर्तिकर्ता, भागीदार, प्रतिस्पर्धी, या निदेशक) को मुख्य इकाई से निकालने के लिए एक लैम्ब्डा फ़ंक्शन लागू करें। .
    5. सभी निकाली गई जानकारी को समेकित करें.
    6. अमेज़ॅन बेडरॉक का उपयोग करके शोर और अप्रासंगिक संस्थाओं (उदाहरण के लिए, "उपभोक्ता" जैसे सामान्य शब्द) को फ़िल्टर करें।
    7. ज्ञान ग्राफ से समान संस्थाओं की सूची के विरुद्ध निकाली गई जानकारी का उपयोग करके तर्क द्वारा स्पष्टीकरण करने के लिए अमेज़ॅन बेडरॉक का उपयोग करें। यदि इकाई मौजूद नहीं है, तो उसे सम्मिलित करें। अन्यथा, उस इकाई का उपयोग करें जो ज्ञान ग्राफ़ में पहले से मौजूद है। निकाले गए सभी रिश्ते डालें.
    8. SQS कतार संदेश और S3 फ़ाइल को हटाकर साफ़ करें।
  5. एक उपयोगकर्ता समाचार लेखों को देखने के लिए रिएक्ट-आधारित वेब एप्लिकेशन तक पहुंचता है जो इकाई, भावना और कनेक्शन पथ जानकारी के साथ पूरक होते हैं।
  6. वेब एप्लिकेशन का उपयोग करते हुए, उपयोगकर्ता मॉनिटर करने के लिए कनेक्शन पथ पर हॉप्स की संख्या (डिफ़ॉल्ट एन = 2) निर्दिष्ट करता है।
  7. वेब एप्लिकेशन का उपयोग करके, उपयोगकर्ता ट्रैक करने के लिए इकाइयों की सूची निर्दिष्ट करता है।
  8. काल्पनिक समाचार उत्पन्न करने के लिए, उपयोगकर्ता चुनता है नमूना समाचार उत्पन्न करें समाचार अंतर्ग्रहण प्रक्रिया में डाले जाने वाले यादृच्छिक सामग्री के साथ 10 नमूना वित्तीय समाचार लेख तैयार करना। सामग्री अमेज़ॅन बेडरॉक का उपयोग करके बनाई गई है और पूरी तरह से काल्पनिक है।
  9. वास्तविक समाचार डाउनलोड करने के लिए, उपयोगकर्ता चुनता है नवीनतम समाचार डाउनलोड करें आज होने वाली प्रमुख खबरों को डाउनलोड करने के लिए (NewsAPI.org द्वारा संचालित)।
  10. समाचार फ़ाइल (TXT प्रारूप) S3 बकेट में अपलोड की जाती है। चरण 8 और 9 स्वचालित रूप से S3 बकेट में समाचार अपलोड करते हैं, लेकिन आप समाचार लेखों को S3 बकेट में फ़ाइलों के रूप में छोड़ने के लिए अपने पसंदीदा समाचार प्रदाता जैसे AWS डेटा एक्सचेंज या किसी तीसरे पक्ष के समाचार प्रदाता के साथ एकीकरण भी बना सकते हैं। समाचार डेटा फ़ाइल सामग्री को इस प्रकार स्वरूपित किया जाना चाहिए <date>{dd mmm yyyy}</date><title>{title}</title><text>{news content}</text>.
  11. S3 ईवेंट अधिसूचना S3 बकेट या फ़ाइल नाम को Amazon SQS (मानक) को भेजती है, जो समानांतर में समाचार डेटा को संसाधित करने के लिए कई लैम्ब्डा फ़ंक्शन को आमंत्रित करता है:
    1. समाचार में उल्लिखित संस्थाओं को उल्लिखित इकाई से संबंधित किसी भी जानकारी, रिश्ते और भावना के साथ निकालने के लिए अमेज़ॅन बेडरॉक का उपयोग करें।
    2. ज्ञान ग्राफ की जांच करें और संबंधित इकाई की पहचान करने के लिए समाचार से और ज्ञान ग्राफ के भीतर से उपलब्ध जानकारी का उपयोग करके तर्क द्वारा स्पष्टीकरण करने के लिए अमेज़ॅन बेडरॉक का उपयोग करें।
    3. इकाई का पता लगने के बाद, चिह्नित इकाइयों से जुड़ने वाले किसी भी कनेक्शन पथ को खोजें और लौटाएँ INTERESTED=YES ज्ञान ग्राफ में जो N=2 के भीतर हैं, दूर हो जाते हैं।
  12. वेब एप्लिकेशन वेब एप्लिकेशन पर प्रदर्शित करने के लिए संसाधित समाचारों के नवीनतम सेट को निकालने के लिए हर 1 सेकंड में ऑटो रीफ्रेश होता है।

प्रोटोटाइप तैनात करें

आप प्रोटोटाइप समाधान तैनात कर सकते हैं और स्वयं प्रयोग करना शुरू कर सकते हैं। प्रोटोटाइप यहां उपलब्ध है GitHub और निम्नलिखित पर विवरण शामिल है:

  • परिनियोजन पूर्वावश्यकताएँ
  • तैनाती के कदम
  • सफ़ाई के चरण

सारांश

इस पोस्ट ने पोर्टफ़ोलियो प्रबंधकों को समाचार घटनाओं से दूसरे और तीसरे क्रम के जोखिमों का पता लगाने में मदद करने के लिए अवधारणा समाधान का प्रमाण प्रदर्शित किया, बिना उन कंपनियों के सीधे संदर्भ के, जिन्हें वे ट्रैक करते हैं। जेनेरिक एआई का उपयोग करके वास्तविक समय के समाचार विश्लेषण के साथ जटिल कंपनी संबंधों के ज्ञान ग्राफ को जोड़कर, डाउनस्ट्रीम प्रभावों को उजागर किया जा सकता है, जैसे आपूर्तिकर्ता की हिचकी के कारण उत्पादन में देरी।

हालाँकि यह केवल एक प्रोटोटाइप है, यह समाधान बिंदुओं को जोड़ने और शोर से संकेत प्राप्त करने के लिए ज्ञान ग्राफ़ और भाषा मॉडल का वादा दिखाता है। ये प्रौद्योगिकियां रिलेशनशिप मैपिंग और तर्क के माध्यम से जोखिमों को तेजी से प्रकट करके निवेश पेशेवरों की सहायता कर सकती हैं। कुल मिलाकर, यह ग्राफ डेटाबेस और एआई का एक आशाजनक अनुप्रयोग है जो निवेश विश्लेषण और निर्णय लेने को बढ़ाने के लिए अन्वेषण की गारंटी देता है।

यदि वित्तीय सेवाओं में जेनरेटिव एआई का यह उदाहरण आपके व्यवसाय के लिए रुचिकर है, या आपके पास भी ऐसा ही विचार है, तो अपने एडब्ल्यूएस खाता प्रबंधक से संपर्क करें, और हमें आपके साथ आगे की खोज करने में खुशी होगी।


लेखक के बारे में

ज़ैन हुआंग AWS के साथ एक वरिष्ठ समाधान वास्तुकार हैं और सिंगापुर में स्थित हैं। वह क्लाउड में सुरक्षित, स्केलेबल और अत्यधिक उपलब्ध समाधानों को डिजाइन और निर्माण करने के लिए प्रमुख वित्तीय संस्थानों के साथ काम करता है। काम के अलावा, ज़ैन अपना अधिकांश खाली समय अपने परिवार के साथ और अपनी 3 साल की बेटी के साथ रहकर बिताता है। आप Xan को यहां पा सकते हैं लिंक्डइन.

स्पॉट_आईएमजी

नवीनतम खुफिया

स्पॉट_आईएमजी

हमारे साथ चैट करें

नमस्ते! मैं आपकी कैसे मदद कर सकता हूँ?