Generative Data Intelligence

Ανακαλύψτε κρυφές συνδέσεις σε μη δομημένα οικονομικά δεδομένα με το Amazon Bedrock και το Amazon Neptune | Υπηρεσίες Ιστού της Amazon

Ημερομηνία:

Στη διαχείριση περιουσιακών στοιχείων, οι διαχειριστές χαρτοφυλακίου πρέπει να παρακολουθούν στενά τις εταιρείες στον επενδυτικό τους κόσμο για να εντοπίζουν κινδύνους και ευκαιρίες και να καθοδηγούν τις επενδυτικές αποφάσεις. Η παρακολούθηση άμεσων γεγονότων, όπως αναφορές κερδών ή υποβαθμίσεις πίστωσης είναι απλή — μπορείτε να ρυθμίσετε ειδοποιήσεις για να ειδοποιείτε τους διαχειριστές για ειδήσεις που περιέχουν ονόματα εταιρειών. Ωστόσο, ο εντοπισμός επιπτώσεων δεύτερης και τρίτης τάξης που προκύπτουν από συμβάντα σε προμηθευτές, πελάτες, συνεργάτες ή άλλες οντότητες στο οικοσύστημα μιας εταιρείας είναι πρόκληση.

Για παράδειγμα, μια διακοπή της εφοδιαστικής αλυσίδας σε έναν βασικό προμηθευτή πιθανότατα θα επηρεάσει αρνητικά τους μεταγενέστερους κατασκευαστές. Ή η απώλεια ενός κορυφαίου πελάτη για έναν σημαντικό πελάτη δημιουργεί κίνδυνο ζήτησης για τον προμηθευτή. Πολύ συχνά, τέτοια γεγονότα αποτυγχάνουν να γίνουν πρωτοσέλιδα με την άμεση παρουσίαση της επηρεαζόμενης εταιρείας, αλλά είναι ακόμα σημαντικό να δίνεται προσοχή. Σε αυτήν την ανάρτηση, παρουσιάζουμε μια αυτοματοποιημένη λύση που συνδυάζει γραφήματα γνώσης και γενετική τεχνητή νοημοσύνη (AI) για την ανάδειξη τέτοιων κινδύνων με τη διασταύρωση χαρτών σχέσεων με ειδήσεις σε πραγματικό χρόνο.

Σε γενικές γραμμές, αυτό συνεπάγεται δύο βήματα: Πρώτον, οικοδόμηση των περίπλοκων σχέσεων μεταξύ των εταιρειών (πελάτες, προμηθευτές, διευθυντές) σε ένα γράφημα γνώσης. Δεύτερον, η χρήση αυτής της βάσης δεδομένων γραφημάτων μαζί με το γενετικό AI για τον εντοπισμό επιπτώσεων δεύτερης και τρίτης τάξης από ειδησεογραφικά συμβάντα. Για παράδειγμα, αυτή η λύση μπορεί να υπογραμμίσει ότι οι καθυστερήσεις σε έναν προμηθευτή ανταλλακτικών μπορεί να διαταράξουν την παραγωγή για μεταγενέστερους κατασκευαστές αυτοκινήτων σε ένα χαρτοφυλάκιο, αν και κανένας δεν αναφέρεται απευθείας.

Με το AWS, μπορείτε να αναπτύξετε αυτήν τη λύση σε μια αρχιτεκτονική χωρίς διακομιστή, επεκτάσιμη και πλήρως βασισμένη σε συμβάντα. Αυτή η ανάρτηση δείχνει μια απόδειξη της ιδέας που βασίζεται σε δύο βασικές υπηρεσίες AWS που είναι κατάλληλες για αναπαράσταση γνώσης γραφήματος και επεξεργασία φυσικής γλώσσας: Amazon Ποσειδώνας και Θεμέλιο του Αμαζονίου. Το Neptune είναι μια γρήγορη, αξιόπιστη, πλήρως διαχειριζόμενη υπηρεσία βάσης δεδομένων γραφημάτων που καθιστά εύκολη τη δημιουργία και την εκτέλεση εφαρμογών που λειτουργούν με πολύ συνδεδεμένα σύνολα δεδομένων. Το Amazon Bedrock είναι μια πλήρως διαχειριζόμενη υπηρεσία που προσφέρει μια επιλογή από μοντέλα θεμελίωσης υψηλής απόδοσης (FM) από κορυφαίες εταιρείες τεχνητής νοημοσύνης όπως AI21 Labs, Anthropic, Cohere, Meta, Stability AI και Amazon μέσω ενός μόνο API, μαζί με ένα ευρύ σύνολο δυνατότητες δημιουργίας παραγωγικών εφαρμογών AI με ασφάλεια, απόρρητο και υπεύθυνη τεχνητή νοημοσύνη.

Συνολικά, αυτό το πρωτότυπο επιδεικνύει την τέχνη του εφικτού με γραφήματα γνώσης και τεχνητή νοημοσύνη που παράγει σήματα συνδέοντας ανόμοιες κουκκίδες. Το πλεονέκτημα για τους επαγγελματίες επενδύσεων είναι η ικανότητα να παραμείνουν στην κορυφή των εξελίξεων πιο κοντά στο σήμα, αποφεύγοντας τον θόρυβο.

Δημιουργήστε το γράφημα της γνώσης

Το πρώτο βήμα σε αυτή τη λύση είναι η δημιουργία ενός γραφήματος γνώσης και μια πολύτιμη αλλά συχνά παραβλέπεται πηγή δεδομένων για γραφήματα γνώσης είναι οι ετήσιες εκθέσεις της εταιρείας. Επειδή οι επίσημες εταιρικές δημοσιεύσεις υπόκεινται σε έλεγχο πριν από την κυκλοφορία, οι πληροφορίες που περιέχουν είναι πιθανό να είναι ακριβείς και αξιόπιστες. Ωστόσο, οι ετήσιες εκθέσεις συντάσσονται σε μη δομημένη μορφή που προορίζεται για ανθρώπινη ανάγνωση και όχι για κατανάλωση από μηχανή. Για να ξεκλειδώσετε τις δυνατότητές τους, χρειάζεστε έναν τρόπο να εξάγετε και να δομείτε συστηματικά τον πλούτο των γεγονότων και των σχέσεων που περιέχουν.

Με τις παραγωγικές υπηρεσίες AI όπως το Amazon Bedrock, έχετε πλέον τη δυνατότητα να αυτοματοποιήσετε αυτή τη διαδικασία. Μπορείτε να λάβετε μια ετήσια αναφορά και να ενεργοποιήσετε μια διοχέτευση επεξεργασίας για να απορροφήσετε την αναφορά, να τη χωρίσετε σε μικρότερα κομμάτια και να εφαρμόσετε την κατανόηση φυσικής γλώσσας για να βγάλετε εξέχουσες οντότητες και σχέσεις.

Για παράδειγμα, μια πρόταση που δηλώνει ότι «η [Εταιρεία Α] επέκτεινε τον ευρωπαϊκό στόλο ηλεκτρικών παραδόσεων με παραγγελία 1,800 ηλεκτρικών φορτηγών από την [Εταιρεία Β]» θα επέτρεπε στην Amazon Bedrock να προσδιορίσει τα ακόλουθα:

  • [Εταιρεία Α] ως πελάτης
  • [Εταιρεία Β] ως προμηθευτής
  • Σχέση προμηθευτή μεταξύ [Εταιρείας Α] και [Εταιρείας Β]
  • Λεπτομέρειες σχέσης του "προμηθευτή ηλεκτρικών φορτηγών παράδοσης"

Η εξαγωγή τέτοιων δομημένων δεδομένων από μη δομημένα έγγραφα απαιτεί την παροχή προσεκτικά σχεδιασμένων προτροπών σε μεγάλα γλωσσικά μοντέλα (LLM), ώστε να μπορούν να αναλύουν κείμενο για να βγάλουν οντότητες όπως εταιρείες και άτομα, καθώς και σχέσεις όπως πελάτες, προμηθευτές και άλλα. Οι προτροπές περιέχουν σαφείς οδηγίες σχετικά με το τι πρέπει να προσέξετε και τη δομή για την επιστροφή των δεδομένων. Επαναλαμβάνοντας αυτή τη διαδικασία σε ολόκληρη την ετήσια έκθεση, μπορείτε να εξαγάγετε τις σχετικές οντότητες και σχέσεις για να δημιουργήσετε ένα πλούσιο γράφημα γνώσης.

Ωστόσο, πριν δεσμεύσετε τις εξαγόμενες πληροφορίες στο γράφημα γνώσης, πρέπει πρώτα να αποσαφηνίσετε τις οντότητες. Για παράδειγμα, μπορεί να υπάρχει ήδη μια άλλη οντότητα «[Εταιρεία Α]» στο γράφημα γνώσης, αλλά θα μπορούσε να αντιπροσωπεύει έναν διαφορετικό οργανισμό με το ίδιο όνομα. Το Amazon Bedrock μπορεί να αιτιολογήσει και να συγκρίνει τα χαρακτηριστικά όπως η περιοχή εστίασης της επιχείρησης, η βιομηχανία και οι βιομηχανίες και οι σχέσεις που δημιουργούν έσοδα με άλλες οντότητες για να προσδιορίσει εάν οι δύο οντότητες είναι πραγματικά διαφορετικές. Αυτό αποτρέπει την ανακριβή συγχώνευση μη συνδεδεμένων εταιρειών σε μια ενιαία οντότητα.

Μετά την ολοκλήρωση της αποσαφήνισης, μπορείτε να προσθέσετε αξιόπιστα νέες οντότητες και σχέσεις στο γράφημα γνώσης του Ποσειδώνα, εμπλουτίζοντάς το με τα στοιχεία που εξάγονται από τις ετήσιες εκθέσεις. Με την πάροδο του χρόνου, η απορρόφηση αξιόπιστων δεδομένων και η ενσωμάτωση πιο αξιόπιστων πηγών δεδομένων θα βοηθήσει στη δημιουργία ενός ολοκληρωμένου γραφήματος γνώσης που μπορεί να υποστηρίξει αποκαλυπτικές πληροφορίες μέσω ερωτημάτων γραφημάτων και αναλυτικών στοιχείων.

Αυτός ο αυτοματισμός που ενεργοποιείται από τη γενετική τεχνητή νοημοσύνη καθιστά εφικτή την επεξεργασία χιλιάδων ετήσιων αναφορών και ξεκλειδώνει ένα ανεκτίμητο πλεονέκτημα για την επιμέλεια γραφημάτων γνώσης που διαφορετικά θα έμενε ανεκμετάλλευτο λόγω της απαγορευτικά μεγάλης μη αυτόματης προσπάθειας που απαιτείται.

Το ακόλουθο στιγμιότυπο οθόνης δείχνει ένα παράδειγμα της οπτικής εξερεύνησης που είναι δυνατή σε μια βάση δεδομένων γραφημάτων Neptune χρησιμοποιώντας το Εξερεύνηση γραφημάτων εργαλείο.

Επεξεργασία άρθρων ειδήσεων

Το επόμενο βήμα της λύσης είναι ο αυτόματα εμπλουτισμός των ειδήσεων των διαχειριστών χαρτοφυλακίου και η ανάδειξη άρθρων που σχετίζονται με τα ενδιαφέροντα και τις επενδύσεις τους. Για τη ροή ειδήσεων, οι διαχειριστές χαρτοφυλακίου μπορούν να εγγραφούν σε οποιονδήποτε τρίτο πάροχο ειδήσεων μέσω Ανταλλαγή δεδομένων AWS ή άλλο API ειδήσεων της επιλογής τους.

Όταν ένα άρθρο ειδήσεων εισέρχεται στο σύστημα, καλείται μια διοχέτευση απορρόφησης για την επεξεργασία του περιεχομένου. Χρησιμοποιώντας τεχνικές παρόμοιες με την επεξεργασία των ετήσιων αναφορών, το Amazon Bedrock χρησιμοποιείται για την εξαγωγή οντοτήτων, χαρακτηριστικών και σχέσεων από το άρθρο ειδήσεων, τα οποία στη συνέχεια χρησιμοποιούνται για την αποσαφήνιση του γραφήματος γνώσης για την αναγνώριση της αντίστοιχης οντότητας στο γράφημα γνώσης.

Το γράφημα γνώσης περιέχει συνδέσεις μεταξύ εταιρειών και ατόμων και συνδέοντας οντότητες άρθρων με υπάρχοντες κόμβους, μπορείτε να προσδιορίσετε εάν κάποια θέματα βρίσκονται σε απόσταση δύο βαθμίδων από τις εταιρείες στις οποίες έχει επενδύσει ή ενδιαφέρεται ο διαχειριστής χαρτοφυλακίου. Η εύρεση μιας τέτοιας σύνδεσης υποδεικνύει Το άρθρο μπορεί να είναι σχετικό με τον διαχειριστή χαρτοφυλακίου και επειδή τα υποκείμενα δεδομένα αναπαρίστανται σε ένα γράφημα γνώσης, μπορεί να οπτικοποιηθεί για να βοηθήσει τον διαχειριστή χαρτοφυλακίου να κατανοήσει γιατί και πώς είναι σχετικό αυτό το πλαίσιο. Εκτός από τον εντοπισμό συνδέσεων με το χαρτοφυλάκιο, μπορείτε επίσης να χρησιμοποιήσετε το Amazon Bedrock για να εκτελέσετε ανάλυση συναισθήματος στις αναφερόμενες οντότητες.

Το τελικό αποτέλεσμα είναι μια εμπλουτισμένη ροή ειδήσεων που εμφανίζει άρθρα που ενδέχεται να επηρεάσουν τους τομείς ενδιαφέροντος και τις επενδύσεις του διαχειριστή χαρτοφυλακίου.

Επισκόπηση λύσεων

Η συνολική αρχιτεκτονική της λύσης μοιάζει με το παρακάτω διάγραμμα.

Η ροή εργασίας αποτελείται από τα ακόλουθα βήματα:

  1. Ένας χρήστης ανεβάζει επίσημες αναφορές (σε μορφή PDF) σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος. Οι αναφορές θα πρέπει να είναι επίσημα δημοσιευμένες αναφορές για να ελαχιστοποιηθεί η συμπερίληψη ανακριβών δεδομένων στο γράφημα γνώσεων σας (σε αντίθεση με ειδήσεις και ταμπλόιντ).
  2. Η ειδοποίηση συμβάντος S3 καλεί ένα AWS Lambda λειτουργία, η οποία στέλνει τον κάδο S3 και το όνομα αρχείου σε ένα Υπηρεσία απλής ουράς Amazon (Amazon SQS) ουρά. Η ουρά First-In-First-Out (FIFO) διασφαλίζει ότι η διαδικασία απορρόφησης αναφοράς εκτελείται διαδοχικά για να μειωθεί η πιθανότητα εισαγωγής διπλότυπων δεδομένων στο γράφημα γνώσεων σας.
  3. An Amazon EventBridge ένα συμβάν βάσει χρόνου εκτελείται κάθε λεπτό για να ξεκινήσει η εκτέλεση ενός Λειτουργίες βημάτων AWS κατάσταση μηχανής ασύγχρονα.
  4. Το μηχάνημα κατάστασης Λειτουργιών Βήματος εκτελείται μέσω μιας σειράς εργασιών για την επεξεργασία του εγγράφου που αποστέλλεται εξάγοντας βασικές πληροφορίες και εισάγοντάς τις στο γράφημα γνώσεων:
    1. Λάβετε το μήνυμα ουράς από το Amazon SQS.
    2. Κατεβάστε το αρχείο αναφοράς PDF από το Amazon S3, χωρίστε το σε πολλά μικρότερα κομμάτια κειμένου (περίπου 1,000 λέξεις) για επεξεργασία και αποθηκεύστε τα κομμάτια κειμένου σε Amazon DynamoDB.
    3. Χρησιμοποιήστε το Anthropic's Claude v3 Sonnet στο Amazon Bedrock για να επεξεργαστείτε τα πρώτα κομμάτια κειμένου για να προσδιορίσετε την κύρια οντότητα στην οποία αναφέρεται η αναφορά, μαζί με σχετικά χαρακτηριστικά (όπως η βιομηχανία).
    4. Ανακτήστε τα κομμάτια κειμένου από το DynamoDB και για κάθε κομμάτι κειμένου, καλέστε μια συνάρτηση Lambda για να εξαγάγετε οντότητες (όπως εταιρεία ή άτομο) και τη σχέση της (πελάτης, προμηθευτής, συνεργάτης, ανταγωνιστής ή διευθυντής) με την κύρια οντότητα χρησιμοποιώντας το Amazon Bedrock .
    5. Συγκεντρώστε όλες τις εξαγόμενες πληροφορίες.
    6. Φιλτράρετε τον θόρυβο και τις άσχετες οντότητες (για παράδειγμα, γενικούς όρους όπως "καταναλωτές") χρησιμοποιώντας το Amazon Bedrock.
    7. Χρησιμοποιήστε το Amazon Bedrock για να πραγματοποιήσετε αποσαφήνιση συλλογίζοντας χρησιμοποιώντας τις εξαγόμενες πληροφορίες σε σχέση με τη λίστα παρόμοιων οντοτήτων από το γράφημα γνώσης. Εάν η οντότητα δεν υπάρχει, εισάγετέ την. Διαφορετικά, χρησιμοποιήστε την οντότητα που υπάρχει ήδη στο γράφημα γνώσης. Εισαγάγετε όλες τις σχέσεις που έχουν εξαχθεί.
    8. Εκκαθάριση διαγράφοντας το μήνυμα ουράς SQS και το αρχείο S3.
  5. Ένας χρήστης έχει πρόσβαση σε μια εφαρμογή Ιστού που βασίζεται στο React για να προβάλει τα άρθρα ειδήσεων που συμπληρώνονται με πληροφορίες οντότητας, συναισθήματος και διαδρομής σύνδεσης.
  6. Χρησιμοποιώντας την εφαρμογή Ιστού, ο χρήστης καθορίζει τον αριθμό των αναπηδήσεων (προεπιλογή N=2) στη διαδρομή σύνδεσης προς παρακολούθηση.
  7. Χρησιμοποιώντας την εφαρμογή Ιστού, ο χρήστης καθορίζει τη λίστα των οντοτήτων προς παρακολούθηση.
  8. Για τη δημιουργία φανταστικών ειδήσεων, ο χρήστης επιλέγει Δημιουργία ειδήσεων δείγματος για τη δημιουργία 10 δειγμάτων άρθρων οικονομικών ειδήσεων με τυχαίο περιεχόμενο που θα τροφοδοτηθούν στη διαδικασία απορρόφησης ειδήσεων. Το περιεχόμενο δημιουργείται χρησιμοποιώντας το Amazon Bedrock και είναι καθαρά φανταστικό.
  9. Για τη λήψη πραγματικών ειδήσεων, ο χρήστης επιλέγει Κατεβάστε τα τελευταία νέα για λήψη των κορυφαίων ειδήσεων που συμβαίνουν σήμερα (με την υποστήριξη του NewsAPI.org).
  10. Το αρχείο ειδήσεων (μορφή TXT) μεταφορτώνεται σε έναν κάδο S3. Τα βήματα 8 και 9 ανεβάζουν ειδήσεις στον κάδο S3 αυτόματα, αλλά μπορείτε επίσης να δημιουργήσετε ενσωματώσεις στον πάροχο ειδήσεων που προτιμάτε, όπως το AWS Data Exchange ή οποιονδήποτε τρίτο πάροχο ειδήσεων, για να αποθέσετε άρθρα ειδήσεων ως αρχεία στον κάδο S3. Το περιεχόμενο του αρχείου δεδομένων ειδήσεων θα πρέπει να μορφοποιηθεί ως <date>{dd mmm yyyy}</date><title>{title}</title><text>{news content}</text>.
  11. Η ειδοποίηση συμβάντος S3 στέλνει τον κάδο ή το όνομα αρχείου S3 στο Amazon SQS (τυπικό), το οποίο καλεί πολλαπλές λειτουργίες Lambda για την παράλληλη επεξεργασία των δεδομένων ειδήσεων:
    1. Χρησιμοποιήστε το Amazon Bedrock για να εξαγάγετε οντότητες που αναφέρονται στις ειδήσεις μαζί με τυχόν σχετικές πληροφορίες, σχέσεις και συναισθήματα της αναφερόμενης οντότητας.
    2. Ελέγξτε με το γράφημα γνώσης και χρησιμοποιήστε το Amazon Bedrock για να πραγματοποιήσετε αποσαφήνιση συλλογίζοντας χρησιμοποιώντας τις διαθέσιμες πληροφορίες από τις ειδήσεις και μέσα από το γράφημα γνώσης για να προσδιορίσετε την αντίστοιχη οντότητα.
    3. Αφού εντοπιστεί η οντότητα, αναζητήστε και επιστρέψτε τυχόν διαδρομές σύνδεσης που συνδέονται με οντότητες που επισημαίνονται με INTERESTED=YES στο γράφημα γνώσεων που βρίσκονται σε απόσταση N=2 άλματα.
  12. Η εφαρμογή web ανανεώνεται αυτόματα κάθε 1 δευτερόλεπτο για να ανασύρει το πιο πρόσφατο σύνολο επεξεργασμένων ειδήσεων για εμφάνιση στην εφαρμογή web.

Αναπτύξτε το πρωτότυπο

Μπορείτε να αναπτύξετε την πρωτότυπη λύση και να αρχίσετε να πειραματίζεστε μόνοι σας. Το πρωτότυπο είναι διαθέσιμο από GitHub και περιλαμβάνει λεπτομέρειες για τα ακόλουθα:

  • Προϋποθέσεις ανάπτυξης
  • Βήματα ανάπτυξης
  • Βήματα καθαρισμού

Χαρακτηριστικά

Αυτή η ανάρτηση παρουσίασε μια απόδειξη της εννοιολογικής λύσης για να βοηθήσει τους διαχειριστές χαρτοφυλακίου να εντοπίζουν κινδύνους δεύτερης και τρίτης τάξης από ειδησεογραφικά γεγονότα, χωρίς άμεσες αναφορές σε εταιρείες που παρακολουθούν. Συνδυάζοντας ένα γράφημα γνώσης περίπλοκων εταιρικών σχέσεων με ανάλυση ειδήσεων σε πραγματικό χρόνο χρησιμοποιώντας γενετική τεχνητή νοημοσύνη, μπορούν να επισημανθούν οι κατάντη επιπτώσεις, όπως οι καθυστερήσεις στην παραγωγή από λόξυγκας προμηθευτών.

Αν και είναι μόνο ένα πρωτότυπο, αυτή η λύση δείχνει την υπόσχεση γραφημάτων γνώσης και μοντέλων γλώσσας για τη σύνδεση κουκκίδων και την παραγωγή σημάτων από το θόρυβο. Αυτές οι τεχνολογίες μπορούν να βοηθήσουν τους επαγγελματίες επενδύσεων αποκαλύπτοντας τους κινδύνους γρηγορότερα μέσω χαρτογραφήσεων σχέσεων και συλλογισμών. Συνολικά, αυτή είναι μια πολλά υποσχόμενη εφαρμογή βάσεων δεδομένων γραφημάτων και τεχνητής νοημοσύνης που δικαιολογεί την εξερεύνηση για την ενίσχυση της επενδυτικής ανάλυσης και λήψης αποφάσεων.

Εάν αυτό το παράδειγμα παραγωγικής τεχνητής νοημοσύνης στις χρηματοοικονομικές υπηρεσίες ενδιαφέρει την επιχείρησή σας ή έχετε μια παρόμοια ιδέα, απευθυνθείτε στον διαχειριστή του λογαριασμού σας AWS και θα χαρούμε να εξερευνήσουμε περαιτέρω μαζί σας.


Σχετικά με το Συγγραφέας

Xan Huang είναι Senior Solutions Architect με AWS και εδρεύει στη Σιγκαπούρη. Συνεργάζεται με μεγάλα χρηματοπιστωτικά ιδρύματα για να σχεδιάσει και να δημιουργήσει ασφαλείς, επεκτάσιμες και εξαιρετικά διαθέσιμες λύσεις στο cloud. Εκτός δουλειάς, ο Xan ξοδεύει τον περισσότερο ελεύθερο χρόνο του με την οικογένειά του και έχοντας αφεντικό την 3χρονη κόρη του. Μπορείτε να βρείτε Xan στο LinkedIn.

spot_img

Τελευταία Νοημοσύνη

spot_img

Συνομιλία με μας

Γεια σου! Πώς μπορώ να σε βοηθήσω?