សព្វថ្ងៃនេះ អតិថិជននៃឧស្សាហកម្មទាំងអស់ - មិនថាវាជាសេវាកម្មហិរញ្ញវត្ថុ ការថែទាំសុខភាព និងវិទ្យាសាស្ត្រជីវិត ការធ្វើដំណើរ និងបដិសណ្ឋារកិច្ច ប្រព័ន្ធផ្សព្វផ្សាយ និងការកម្សាន្ត ទូរគមនាគមន៍ កម្មវិធីជាសេវាកម្ម (SaaS) និងសូម្បីតែអ្នកផ្តល់គំរូដែលមានកម្មសិទ្ធិ - កំពុងប្រើប្រាស់គំរូភាសាធំ (LLMs) ដើម្បី បង្កើតកម្មវិធីដូចជាសំណួរ និងចម្លើយ (QnA) chatbots ម៉ាស៊ីនស្វែងរក និងមូលដ្ឋានចំណេះដឹង។ ទាំងនេះ AI ជំនាន់ កម្មវិធីមិនត្រឹមតែត្រូវបានប្រើដើម្បីធ្វើស្វ័យប្រវត្តិកម្មដំណើរការអាជីវកម្មដែលមានស្រាប់ប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងមានសមត្ថភាពបំប្លែងបទពិសោធន៍សម្រាប់អតិថិជនដោយប្រើកម្មវិធីទាំងនេះផងដែរ។ ជាមួយនឹងការរីកចម្រើនដែលត្រូវបានធ្វើឡើងជាមួយ LLMs ដូចជា ការណែនាំ Mixtral-8x7Bដេរីវេនៃស្ថាបត្យកម្មដូចជា ល្បាយនៃអ្នកជំនាញ (MoE)អតិថិជនកំពុងស្វែងរកវិធីដើម្បីកែលម្អការអនុវត្ត និងភាពត្រឹមត្រូវនៃកម្មវិធី AI ជំនាន់ថ្មី ខណៈពេលដែលអនុញ្ញាតឱ្យពួកគេប្រើប្រាស់យ៉ាងមានប្រសិទ្ធភាពនូវជួរដ៏ធំទូលាយនៃគំរូប្រភពបិទ និងបើកចំហ។
បច្ចេកទេសមួយចំនួនត្រូវបានប្រើប្រាស់ជាធម្មតា ដើម្បីកែលម្អភាពត្រឹមត្រូវ និងដំណើរការនៃលទ្ធផលរបស់ LLM ដូចជាការកែតម្រូវដោយ ការលៃតម្រូវការផាកពិន័យប្រកបដោយប្រសិទ្ធភាពប៉ារ៉ាម៉ែត្រ (PEFT), ការពង្រឹងការរៀនពីមតិកែលម្អរបស់មនុស្ស (RLHF), និងការសម្តែង ចំនេះដឹង. ទោះជាយ៉ាងណាក៏ដោយ នៅពេលបង្កើតកម្មវិធី AI ជំនាន់មុន អ្នកអាចប្រើដំណោះស្រាយជំនួសដែលអនុញ្ញាតឱ្យមានការបញ្ចូលចំណេះដឹងខាងក្រៅថាមវន្ត និងអនុញ្ញាតឱ្យអ្នកគ្រប់គ្រងព័ត៌មានដែលបានប្រើសម្រាប់ជំនាន់ដោយមិនចាំបាច់កែតម្រូវគំរូមូលដ្ឋានដែលមានស្រាប់របស់អ្នក។ នេះគឺជាកន្លែងដែល Retrieval Augmented Generation (RAG) ចូលមក ជាពិសេសសម្រាប់កម្មវិធី AI ជំនាន់ថ្មី ដែលផ្ទុយពីជម្រើសដែលមានតម្លៃថ្លៃជាង និងរឹងមាំជាងមុនដែលយើងបានពិភាក្សា។ ប្រសិនបើអ្នកកំពុងអនុវត្តកម្មវិធី RAG ស្មុគស្មាញទៅក្នុងកិច្ចការប្រចាំថ្ងៃរបស់អ្នក អ្នកអាចជួបប្រទះបញ្ហាប្រឈមទូទៅជាមួយប្រព័ន្ធ RAG របស់អ្នកដូចជាការទាញយកមិនត្រឹមត្រូវ ការបង្កើនទំហំ និងភាពស្មុគស្មាញនៃឯកសារ និងការលើសចំណុះនៃបរិបទ ដែលអាចជះឥទ្ធិពលយ៉ាងខ្លាំងដល់គុណភាព និងភាពជឿជាក់នៃចម្លើយដែលបានបង្កើត។ .
ការបង្ហោះនេះពិភាក្សាអំពីគំរូ RAG ដើម្បីកែលម្អភាពត្រឹមត្រូវនៃការឆ្លើយតបដោយប្រើ LangChain និងឧបករណ៍ដូចជាឧបករណ៍ទាញយកឯកសារមេ បន្ថែមលើបច្ចេកទេសដូចជាការបង្ហាប់តាមបរិបទ ដើម្បីឱ្យអ្នកអភិវឌ្ឍន៍កែលម្អកម្មវិធី AI ជំនាន់ដែលមានស្រាប់។
ទិដ្ឋភាពទូទៅនៃដំណោះស្រាយ
នៅក្នុងការប្រកាសនេះ យើងបង្ហាញអំពីការប្រើប្រាស់នៃ Mixtral-8x7B Instruct text generation រួមបញ្ចូលគ្នាជាមួយនឹងគំរូបង្កប់ BGE Large En ដើម្បីបង្កើតប្រព័ន្ធ RAG QnA ប្រកបដោយប្រសិទ្ធភាពនៅលើសៀវភៅកត់ត្រា Amazon SageMaker ដោយប្រើឧបករណ៍ទាញយកឯកសារមេ និងបច្ចេកទេសបង្ហាប់បរិបទ។ ដ្យាក្រាមខាងក្រោមបង្ហាញពីស្ថាបត្យកម្មនៃដំណោះស្រាយនេះ។
អ្នកអាចប្រើប្រាស់ដំណោះស្រាយនេះដោយគ្រាន់តែចុចពីរបីដងដោយប្រើ ក្រុមហ៊ុន Amazon SageMaker JumpStartដែលជាវេទិកាគ្រប់គ្រងយ៉ាងពេញលេញដែលផ្តល់នូវគំរូគ្រឹះដ៏ទំនើបសម្រាប់ករណីប្រើប្រាស់ផ្សេងៗដូចជាការសរសេរខ្លឹមសារ ការបង្កើតកូដ ការឆ្លើយសំណួរ ការសរសេរចម្លង ការសង្ខេប ការចាត់ថ្នាក់ និងការទាញយកព័ត៌មាន។ វាផ្តល់នូវបណ្តុំនៃគំរូដែលបានបណ្តុះបណ្តាលជាមុន ដែលអ្នកអាចដាក់ឱ្យប្រើប្រាស់បានយ៉ាងឆាប់រហ័ស និងងាយស្រួល ដោយបង្កើនល្បឿននៃការអភិវឌ្ឍន៍ និងការដាក់ឱ្យប្រើប្រាស់កម្មវិធីសិក្សាម៉ាស៊ីន (ML)។ សមាសធាតុសំខាន់មួយរបស់ SageMaker JumpStart គឺ Model Hub ដែលផ្តល់នូវកាតាឡុកដ៏ធំនៃគំរូដែលបានបណ្តុះបណ្តាលមុន ដូចជា Mixtral-8x7B សម្រាប់កិច្ចការផ្សេងៗ។
Mixtral-8x7B ប្រើស្ថាបត្យកម្ម MoE ។ ស្ថាបត្យកម្មនេះអនុញ្ញាតឱ្យផ្នែកផ្សេងៗនៃបណ្តាញសរសៃប្រសាទមានជំនាញក្នុងកិច្ចការផ្សេងៗគ្នា ដោយមានប្រសិទ្ធភាពបែងចែកការងារក្នុងចំណោមអ្នកជំនាញជាច្រើន។ វិធីសាស្រ្តនេះអនុញ្ញាតឱ្យមានការបណ្តុះបណ្តាលប្រកបដោយប្រសិទ្ធភាព និងការដាក់ពង្រាយគំរូធំជាងបើប្រៀបធៀបទៅនឹងស្ថាបត្យកម្មប្រពៃណី។
គុណសម្បត្តិចម្បងមួយនៃស្ថាបត្យកម្ម MoE គឺលទ្ធភាពធ្វើមាត្រដ្ឋានរបស់វា។ តាមរយៈការចែកចាយបន្ទុកការងារលើអ្នកជំនាញជាច្រើន ម៉ូដែល MoE អាចត្រូវបានបណ្តុះបណ្តាលលើសំណុំទិន្នន័យធំជាង និងទទួលបានលទ្ធផលល្អប្រសើរជាងម៉ូដែលប្រពៃណីដែលមានទំហំដូចគ្នា។ លើសពីនេះ គំរូ MoE អាចមានប្រសិទ្ធភាពជាងក្នុងកំឡុងការសន្និដ្ឋាន ពីព្រោះមានតែក្រុមអ្នកជំនាញប៉ុណ្ណោះដែលត្រូវការឱ្យដំណើរការសម្រាប់ការបញ្ចូលដែលបានផ្តល់ឱ្យ។
សម្រាប់ព័ត៌មានបន្ថែមអំពី Mixtral-8x7B Instruct on AWS សូមមើល Mixtral-8x7B ឥឡូវនេះមាននៅក្នុង Amazon SageMaker JumpStart. ម៉ូដែល Mixtral-8x7B ត្រូវបានផលិតឡើងក្រោមអាជ្ញាប័ណ្ណ Apache 2.0 ដែលមានការអនុញ្ញាតសម្រាប់ការប្រើប្រាស់ដោយគ្មានការរឹតបន្តឹង។
នៅក្នុងការប្រកាសនេះ យើងពិភាក្សាអំពីរបៀបដែលអ្នកអាចប្រើ LangChain ដើម្បីបង្កើតកម្មវិធី RAG ប្រកបដោយប្រសិទ្ធភាព និងប្រសិទ្ធភាពជាងមុន។ LangChain គឺជាបណ្ណាល័យ Python ប្រភពបើកចំហដែលត្រូវបានរចនាឡើងដើម្បីបង្កើតកម្មវិធីជាមួយ LLMs ។ វាផ្តល់នូវក្របខ័ណ្ឌម៉ូឌុល និងអាចបត់បែនបានសម្រាប់ការរួមបញ្ចូល LLMs ជាមួយសមាសធាតុផ្សេងទៀត ដូចជាមូលដ្ឋានចំណេះដឹង ប្រព័ន្ធទាញយក និងឧបករណ៍ AI ផ្សេងទៀត ដើម្បីបង្កើតកម្មវិធីដែលមានអនុភាព និងអាចប្ដូរតាមបំណងបាន។
យើងដើរឆ្លងកាត់ការសាងសង់បំពង់ RAG នៅលើ SageMaker ជាមួយ Mixtral-8x7B ។ យើងប្រើគំរូបង្កើតអត្ថបទ Mixtral-8x7B Instruct ជាមួយនឹងគំរូបង្កប់ BGE Large En ដើម្បីបង្កើតប្រព័ន្ធ QnA ប្រកបដោយប្រសិទ្ធភាពដោយប្រើ RAG នៅលើសៀវភៅកត់ត្រា SageMaker ។ យើងប្រើឧទាហរណ៍ ml.t3.medium ដើម្បីបង្ហាញពីការដាក់ពង្រាយ LLMs តាមរយៈ SageMaker JumpStart ដែលអាចចូលប្រើបានតាមរយៈចំណុចបញ្ចប់ API ដែលបង្កើតដោយ SageMaker ។ ការរៀបចំនេះអនុញ្ញាតឱ្យមានការរុករក ពិសោធន៍ និងការបង្កើនប្រសិទ្ធភាពនៃបច្ចេកទេស RAG កម្រិតខ្ពស់ជាមួយ LangChain ។ យើងក៏បង្ហាញពីការរួមបញ្ចូលនៃហាងបង្កប់ FAISS ទៅក្នុងលំហូរការងារ RAG ដោយបញ្ជាក់ពីតួនាទីរបស់វាក្នុងការរក្សាទុក និងទាញយកការបង្កប់ ដើម្បីបង្កើនប្រសិទ្ធភាពនៃប្រព័ន្ធ។
យើងអនុវត្តការសង្ខេបខ្លីៗនៃសៀវភៅកត់ត្រា SageMaker ។ សម្រាប់ព័ត៌មានលម្អិត និងការណែនាំជាជំហានៗ សូមមើល លំនាំ RAG កម្រិតខ្ពស់ជាមួយ Mixtral នៅលើ SageMaker Jumpstart GitHub repo.
តម្រូវការសម្រាប់លំនាំ RAG កម្រិតខ្ពស់
គំរូ RAG កម្រិតខ្ពស់គឺចាំបាច់ដើម្បីកែលម្អលើសមត្ថភាពបច្ចុប្បន្នរបស់ LLMs ក្នុងដំណើរការ ការយល់ដឹង និងបង្កើតអត្ថបទដូចមនុស្ស។ នៅពេលដែលទំហំ និងភាពស្មុគស្មាញនៃឯកសារកើនឡើង ការតំណាងឱ្យផ្នែកជាច្រើននៃឯកសារនៅក្នុងការបង្កប់តែមួយអាចនាំឱ្យបាត់បង់ភាពជាក់លាក់។ ទោះបីជាវាមានសារៈសំខាន់ក្នុងការចាប់យកខ្លឹមសារទូទៅនៃឯកសារក៏ដោយ វាពិតជាមានសារៈសំខាន់ដូចគ្នាក្នុងការទទួលស្គាល់ និងតំណាងឱ្យបរិបទរងផ្សេងៗគ្នានៅក្នុងនោះ។ នេះគឺជាបញ្ហាប្រឈមដែលអ្នកតែងតែជួបប្រទះនៅពេលធ្វើការជាមួយឯកសារធំជាង បញ្ហាប្រឈមមួយទៀតជាមួយ RAG គឺថាជាមួយនឹងការទាញយកមកវិញ អ្នកមិនដឹងអំពីសំណួរជាក់លាក់ដែលប្រព័ន្ធផ្ទុកឯកសាររបស់អ្នកនឹងដោះស្រាយនៅពេលបញ្ចូល។ វាអាចនាំឱ្យមានព័ត៌មានពាក់ព័ន្ធនឹងសំណួរដែលត្រូវបានគេកប់ក្រោមអត្ថបទ (បរិបទលើសចំណុះ)។ ដើម្បីកាត់បន្ថយការបរាជ័យ និងកែលម្អលើស្ថាបត្យកម្ម RAG ដែលមានស្រាប់ អ្នកអាចប្រើគំរូ RAG កម្រិតខ្ពស់ (ឧបករណ៍ទាញយកឯកសារមេ និងការបង្ហាប់តាមបរិបទ) ដើម្បីកាត់បន្ថយកំហុសក្នុងការទាញយក បង្កើនគុណភាពចម្លើយ និងបើកដំណើរការដោះស្រាយសំណួរស្មុគស្មាញ។
ជាមួយនឹងបច្ចេកទេសដែលបានពិភាក្សានៅក្នុងការបង្ហោះនេះ អ្នកអាចដោះស្រាយបញ្ហាប្រឈមសំខាន់ៗដែលទាក់ទងនឹងការទាញយកចំណេះដឹងខាងក្រៅ និងការរួមបញ្ចូល ដែលអនុញ្ញាតឱ្យកម្មវិធីរបស់អ្នកផ្តល់នូវការឆ្លើយតបកាន់តែច្បាស់លាស់ និងការយល់ដឹងតាមបរិបទ។
នៅក្នុងផ្នែកខាងក្រោម យើងស្វែងយល់ពីរបៀប អ្នកយកឯកសារមេ និង ការបង្ហាប់តាមបរិបទ អាចជួយអ្នកដោះស្រាយបញ្ហាមួយចំនួនដែលយើងបានពិភាក្សា។
អ្នកយកឯកសារមេ
នៅក្នុងផ្នែកមុន យើងបានគូសបញ្ជាក់ពីបញ្ហាប្រឈមដែលកម្មវិធី RAG ជួបប្រទះនៅពេលដោះស្រាយជាមួយឯកសារទូលំទូលាយ។ ដើម្បីដោះស្រាយបញ្ហាប្រឈមទាំងនេះ អ្នកយកឯកសារមេ ចាត់ថ្នាក់ និងកំណត់ឯកសារចូលជា ឯកសារឪពុកម្តាយ. ឯកសារទាំងនេះត្រូវបានទទួលស្គាល់សម្រាប់លក្ខណៈទូលំទូលាយរបស់ពួកគេ ប៉ុន្តែមិនត្រូវបានប្រើប្រាស់ដោយផ្ទាល់នៅក្នុងទម្រង់ដើមរបស់ពួកគេសម្រាប់ការបង្កប់។ ជាជាងការបង្ហាប់ឯកសារទាំងមូលចូលទៅក្នុងការបង្កប់តែមួយ អ្នកទាញយកឯកសារមេបំបែកឯកសារមេទាំងនេះទៅក្នុង ឯកសារកុមារ. ឯកសារកូននីមួយៗចាប់យកទិដ្ឋភាព ឬប្រធានបទផ្សេងៗពីឯកសារមេដែលទូលំទូលាយ។ បន្ទាប់ពីការកំណត់អត្តសញ្ញាណនៃផ្នែកកុមារទាំងនេះ ការបង្កប់បុគ្គលត្រូវបានកំណត់ឱ្យគ្នា ដោយចាប់យកខ្លឹមសារប្រធានបទជាក់លាក់របស់វា (មើលដ្យាក្រាមខាងក្រោម)។ កំឡុងពេលទាញយកឯកសារមេត្រូវបានហៅ។ បច្ចេកទេសនេះផ្តល់នូវសមត្ថភាពស្វែងរកគោលដៅដែលមានលក្ខណៈទូលំទូលាយ ដោយផ្តល់ឲ្យ LLM នូវទស្សនវិស័យកាន់តែទូលំទូលាយ។ អ្នកទៅយកឯកសារមេផ្តល់ឱ្យ LLMs នូវអត្ថប្រយោជន៍ពីរយ៉ាង៖ ភាពជាក់លាក់នៃការបង្កប់ឯកសារកុមារសម្រាប់ការទាញយកព័ត៌មានច្បាស់លាស់ និងពាក់ព័ន្ធ រួមជាមួយនឹងការហៅឯកសារមេសម្រាប់ការបង្កើតការឆ្លើយតប ដែលបង្កើនលទ្ធផលរបស់ LLM ជាមួយនឹងបរិបទជាស្រទាប់ និងហ្មត់ចត់។
ការបង្ហាប់តាមបរិបទ
ដើម្បីដោះស្រាយបញ្ហានៃការលើសបរិបទដែលបានពិភាក្សាពីមុន អ្នកអាចប្រើ ការបង្ហាប់តាមបរិបទ ដើម្បីបង្រួម និងត្រងឯកសារដែលបានទាញយកដោយតម្រឹមជាមួយបរិបទនៃសំណួរ ដូច្នេះមានតែព័ត៌មានដែលពាក់ព័ន្ធប៉ុណ្ណោះត្រូវបានរក្សាទុក និងដំណើរការ។ នេះត្រូវបានសម្រេចតាមរយៈការរួមបញ្ចូលគ្នានៃ base retriever សម្រាប់ការទាញយកឯកសារដំបូង និងឧបករណ៍បង្ហាប់ឯកសារសម្រាប់ការកែលម្អឯកសារទាំងនេះដោយបែងចែកមាតិការបស់ពួកគេ ឬដកចេញទាំងស្រុងដោយផ្អែកលើភាពពាក់ព័ន្ធ ដូចបានបង្ហាញក្នុងដ្យាក្រាមខាងក្រោម។ វិធីសាស្រ្តសម្រួលនេះ សម្របសម្រួលដោយឧបករណ៍ទាញយកការបង្ហាប់តាមបរិបទ បង្កើនប្រសិទ្ធភាពកម្មវិធី RAG យ៉ាងខ្លាំង ដោយផ្តល់នូវវិធីសាស្រ្តក្នុងការទាញយក និងប្រើប្រាស់តែអ្វីដែលចាំបាច់ពីព័ត៌មានច្រើន។ វាដោះស្រាយបញ្ហានៃការផ្ទុកព័ត៌មានលើសទម្ងន់ និងដំណើរការទិន្នន័យដែលមិនពាក់ព័ន្ធ ដែលនាំទៅដល់ការកែលម្អគុណភាពឆ្លើយតប ប្រតិបត្តិការ LLM កាន់តែមានប្រសិទ្ធភាព និងដំណើរការទាញយកសរុបកាន់តែរលូន។ សំខាន់ វាជាតម្រងដែលកែសម្រួលព័ត៌មានទៅនឹងសំណួរដែលនៅនឹងដៃ ធ្វើឱ្យវាជាឧបករណ៍ដែលត្រូវការច្រើនសម្រាប់អ្នកអភិវឌ្ឍន៍ដែលមានបំណងបង្កើនប្រសិទ្ធភាពកម្មវិធី RAG របស់ពួកគេសម្រាប់ដំណើរការកាន់តែប្រសើរ និងការពេញចិត្តរបស់អ្នកប្រើប្រាស់។
តម្រូវការជាមុន
ប្រសិនបើអ្នកថ្មីចំពោះ SageMaker សូមមើល មគ្គុទ្ទេសក៍អភិវឌ្ឍន៍ Amazon SageMaker.
មុនពេលអ្នកចាប់ផ្តើមជាមួយដំណោះស្រាយ បង្កើតគណនី AWS. នៅពេលអ្នកបង្កើតគណនី AWS អ្នកទទួលបានអត្តសញ្ញាណការចូលតែមួយ (SSO) ដែលអាចចូលដំណើរការពេញលេញទៅកាន់សេវាកម្ម និងធនធាន AWS ទាំងអស់នៅក្នុងគណនី។ អត្តសញ្ញាណនេះត្រូវបានគេហៅថាគណនី AWS អ្នកប្រើ root.
ការចូលទៅកាន់ AWS Management Console ដោយប្រើអាសយដ្ឋានអ៊ីមែល និងពាក្យសម្ងាត់ដែលអ្នកធ្លាប់បង្កើតគណនីផ្តល់ឱ្យអ្នកនូវការចូលដំណើរការពេញលេញទៅកាន់ធនធាន AWS ទាំងអស់នៅក្នុងគណនីរបស់អ្នក។ យើងណែនាំយ៉ាងមុតមាំថាអ្នកមិនប្រើអ្នកប្រើ root សម្រាប់កិច្ចការប្រចាំថ្ងៃ សូម្បីតែផ្នែករដ្ឋបាលក៏ដោយ។
ជំនួសមកវិញ ប្រកាន់ខ្ជាប់នូវ ស ការអនុវត្តល្អបំផុតសុវត្ថិភាព in អត្តសញ្ញាណ AWS និងការគ្រប់គ្រងការចូលប្រើ (IAM) និង បង្កើតអ្នកប្រើប្រាស់ និងក្រុមរដ្ឋបាល. បន្ទាប់មកចាក់សោរចេញនូវព័ត៌មានសម្គាល់អ្នកប្រើប្រាស់ជា root ដោយសុវត្ថិភាព ហើយប្រើពួកវាដើម្បីអនុវត្តតែកិច្ចការគ្រប់គ្រងគណនី និងសេវាកម្មមួយចំនួនប៉ុណ្ណោះ។
ម៉ូដែល Mixtral-8x7b ត្រូវការឧទាហរណ៍ ml.g5.48xlarge ។ SageMaker JumpStart ផ្តល់នូវវិធីសាមញ្ញមួយដើម្បីចូលប្រើ និងដាក់ឱ្យប្រើប្រាស់ជាង 100 ប្រភពបើកចំហ និងគំរូគ្រឹះភាគីទីបីផ្សេងៗគ្នា។ ដើម្បី បើកដំណើរការចំណុចបញ្ចប់ដើម្បីធ្វើជាម្ចាស់ផ្ទះ Mixtral-8x7B ពី SageMaker JumpStartអ្នកប្រហែលជាត្រូវស្នើសុំការបង្កើនកូតាសេវាកម្ម ដើម្បីចូលប្រើឧទាហរណ៍ ml.g5.48xlarge សម្រាប់ការប្រើប្រាស់ចំណុចបញ្ចប់។ អ្នកអាច ស្នើសុំបង្កើនកូតាសេវាកម្ម តាមរយៈកុងសូល, ចំណុចប្រទាក់បន្ទាត់ពាក្យបញ្ជា AWS (AWS CLI) ឬ API ដើម្បីអនុញ្ញាតឱ្យចូលប្រើធនធានបន្ថែមទាំងនោះ។
ដំឡើងឧទាហរណ៍សៀវភៅកត់ត្រា SageMaker និងដំឡើងភាពអាស្រ័យ
ដើម្បីចាប់ផ្តើម បង្កើតឧទាហរណ៍សៀវភៅកត់ត្រា SageMaker ហើយដំឡើងភាពអាស្រ័យដែលត្រូវការ។ យោងទៅ GitHub repo ដើម្បីធានាបាននូវការដំឡើងជោគជ័យ។ បន្ទាប់ពីអ្នករៀបចំកុំព្យូទ័រយួរដៃរួច អ្នកអាចដាក់ឱ្យប្រើប្រាស់គំរូ។
អ្នកក៏អាចដំណើរការសៀវភៅកត់ត្រាក្នុងមូលដ្ឋានលើបរិយាកាសអភិវឌ្ឍន៍រួមបញ្ចូលគ្នា (IDE) ដែលអ្នកពេញចិត្តផងដែរ។ ត្រូវប្រាកដថាអ្នកបានដំឡើងបន្ទប់ពិសោធន៍សៀវភៅ Jupyter ។
ដាក់ពង្រាយគំរូ
ដាក់ពង្រាយគំរូ Mixtral-8X7B Instruct LLM នៅលើ SageMaker JumpStart៖
ដាក់ពង្រាយគំរូបង្កប់ BGE Large En នៅលើ SageMaker JumpStart៖
ដំឡើង LangChain
បន្ទាប់ពីនាំចូលបណ្ណាល័យចាំបាច់ទាំងអស់ និងដាក់ពង្រាយម៉ូដែល Mixtral-8x7B និងគំរូបង្កប់ BGE Large En រួចហើយ ឥឡូវនេះអ្នកអាចដំឡើង LangChain បាន។ សម្រាប់ការណែនាំជាជំហាន ៗ សូមមើល GitHub repo.
ការរៀបចំទិន្នន័យ
នៅក្នុងការប្រកាសនេះ យើងប្រើប្រាស់លិខិតរបស់ Amazon ជាច្រើនឆ្នាំទៅកាន់ម្ចាស់ភាគហ៊ុនជាសារពត៌មានដើម្បីអនុវត្ត QnA នៅលើ។ សម្រាប់ជំហានលម្អិតបន្ថែមទៀតដើម្បីរៀបចំទិន្នន័យ សូមមើល GitHub repo.
ការឆ្លើយសំណួរ
នៅពេលដែលទិន្នន័យត្រូវបានរៀបចំ អ្នកអាចប្រើ wrapper ដែលផ្តល់ដោយ LangChain ដែលរុំជុំវិញហាងវ៉ិចទ័រ ហើយទទួលយកការបញ្ចូលសម្រាប់ LLM ។ ឧបករណ៍រុំនេះអនុវត្តជំហានដូចខាងក្រោមៈ
- យកសំណួរបញ្ចូល។
- បង្កើតសំណួរដែលបង្កប់។
- យកឯកសារពាក់ព័ន្ធ។
- បញ្ចូលឯកសារ និងសំណួរទៅក្នុងប្រអប់បញ្ចូល។
- ហៅគំរូជាមួយប្រអប់បញ្ចូល ហើយបង្កើតចម្លើយក្នុងលក្ខណៈដែលអាចអានបាន។
ឥឡូវនេះហាងវ៉ិចទ័រគឺនៅនឹងកន្លែង អ្នកអាចចាប់ផ្តើមសួរសំណួរ៖
ខ្សែសង្វាក់ retriever ធម្មតា។
នៅក្នុងសេណារីយ៉ូមុន យើងបានស្វែងយល់ពីវិធីរហ័ស និងត្រង់ដើម្បីទទួលបានចម្លើយដែលដឹងពីបរិបទចំពោះសំណួររបស់អ្នក។ ឥឡូវនេះ សូមក្រឡេកមើលជម្រើសដែលអាចប្ដូរតាមបំណងបានកាន់តែច្រើន ដោយមានជំនួយពី RetrievalQA ដែលអ្នកអាចប្ដូរតាមបំណងពីរបៀបដែលឯកសារដែលបានទៅយកគួរតែត្រូវបានបន្ថែមទៅប្រអប់បញ្ចូលដោយប្រើប៉ារ៉ាម៉ែត្រ chain_type ។ ដូចគ្នានេះផងដែរ ដើម្បីគ្រប់គ្រងចំនួនឯកសារដែលពាក់ព័ន្ធគួរតែត្រូវបានទាញយក អ្នកអាចផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រ k នៅក្នុងកូដខាងក្រោមដើម្បីមើលលទ្ធផលខុសៗគ្នា។ នៅក្នុងសេណារីយ៉ូជាច្រើន អ្នកប្រហែលជាចង់ដឹងថាតើឯកសារប្រភពណាដែល LLM ប្រើដើម្បីបង្កើតចម្លើយ។ អ្នកអាចទទួលបានឯកសារទាំងនោះនៅក្នុងលទ្ធផលដោយប្រើ return_source_documents
ដែលត្រឡប់ឯកសារដែលត្រូវបានបន្ថែមទៅបរិបទនៃប្រអប់បញ្ចូល LLM ។ RetrievalQA ក៏អនុញ្ញាតឱ្យអ្នកផ្តល់នូវគំរូប្រអប់បញ្ចូលផ្ទាល់ខ្លួនដែលអាចជាក់លាក់ចំពោះគំរូ។
តោះសួរសំណួរមួយ៖
ខ្សែសង្វាក់អ្នកយកឯកសារមេ
សូមក្រឡេកមើលជម្រើស RAG កម្រិតខ្ពស់បន្ថែមទៀតដោយមានជំនួយពី ParentDocumentRetriever. នៅពេលធ្វើការជាមួយការទាញយកឯកសារ អ្នកអាចជួបប្រទះការដោះដូររវាងការរក្សាទុកឯកសារតូចៗសម្រាប់ការបង្កប់ត្រឹមត្រូវ និងឯកសារធំជាងមុន ដើម្បីរក្សាបរិបទកាន់តែច្រើន។ អ្នកទៅយកឯកសារមេធ្វើកូដកម្មតុល្យភាពនោះដោយការបំបែក និងរក្សាទុកផ្នែកតូចៗនៃទិន្នន័យ។
យើងប្រើក parent_splitter
ដើម្បីបែងចែកឯកសារដើមទៅជាបំណែកធំ ៗ ដែលហៅថាឯកសារមេ និង ក child_splitter
បង្កើតឯកសារកូនតូចពីឯកសារដើម៖
បន្ទាប់មកឯកសារកុមារត្រូវបានដាក់លិបិក្រមនៅក្នុងហាងវ៉ិចទ័រដោយប្រើការបង្កប់។ នេះអនុញ្ញាតឱ្យទាញយកឯកសារកុមារដែលពាក់ព័ន្ធប្រកបដោយប្រសិទ្ធភាពដោយផ្អែកលើភាពស្រដៀងគ្នា។ ដើម្បីទាញយកព័ត៌មានដែលពាក់ព័ន្ធ អ្នកទៅយកឯកសារមេដំបូងទៅយកឯកសារកុមារពីហាងវ៉ិចទ័រ។ បន្ទាប់មកវារកមើលលេខសម្គាល់មាតាបិតាសម្រាប់ឯកសារកុមារទាំងនោះ ហើយប្រគល់មកវិញនូវឯកសារមេធំៗដែលត្រូវគ្នា។
តោះសួរសំណួរមួយ៖
ខ្សែសង្វាក់បង្ហាប់តាមបរិបទ
សូមក្រឡេកមើលជម្រើស RAG កម្រិតខ្ពស់មួយទៀតដែលហៅថា ការបង្ហាប់តាមបរិបទ. បញ្ហាប្រឈមមួយជាមួយនឹងការទាញយកគឺថាជាធម្មតាយើងមិនដឹងថាសំណួរជាក់លាក់ដែលប្រព័ន្ធផ្ទុកឯកសាររបស់អ្នកនឹងប្រឈមមុខនៅពេលអ្នកបញ្ចូលទិន្នន័យទៅក្នុងប្រព័ន្ធ។ នេះមានន័យថាព័ត៌មានដែលពាក់ព័ន្ធបំផុតទៅនឹងសំណួរអាចនឹងត្រូវបានកប់នៅក្នុងឯកសារដែលមានអត្ថបទមិនពាក់ព័ន្ធជាច្រើន។ ការឆ្លងកាត់ឯកសារពេញលេញនោះតាមរយៈពាក្យសុំរបស់អ្នកអាចនាំឱ្យមានការហៅទូរសព្ទ LLM ដែលមានតម្លៃថ្លៃជាង និងការឆ្លើយតបមិនល្អ។
ឧបករណ៍ទាញយកការបង្ហាប់តាមបរិបទដោះស្រាយបញ្ហាប្រឈមនៃការទាញយកព័ត៌មានដែលពាក់ព័ន្ធពីប្រព័ន្ធផ្ទុកឯកសារ ដែលទិន្នន័យពាក់ព័ន្ធអាចត្រូវបានកប់នៅក្នុងឯកសារដែលមានអត្ថបទច្រើន។ ដោយការបង្ហាប់ និងត្រងឯកសារដែលបានទាញយកដោយផ្អែកលើបរិបទសំណួរដែលបានផ្តល់ឱ្យនោះ មានតែព័ត៌មានដែលពាក់ព័ន្ធបំផុតប៉ុណ្ណោះដែលត្រូវបានប្រគល់មកវិញ។
ដើម្បីប្រើឧបករណ៍ទាញយកការបង្ហាប់តាមបរិបទ អ្នកនឹងត្រូវការ៖
- អ្នកទទួលមូលដ្ឋាន - នេះគឺជាឧបករណ៍ទាញយកដំបូងដែលទៅយកឯកសារពីប្រព័ន្ធផ្ទុកទិន្នន័យដោយផ្អែកលើសំណួរ
- ម៉ាស៊ីនបង្ហាប់ឯកសារ - សមាសធាតុនេះយកឯកសារដែលបានទាញយកដំបូងមក ហើយបង្រួមវាដោយកាត់បន្ថយខ្លឹមសារនៃឯកសារនីមួយៗ ឬទម្លាក់ឯកសារដែលមិនពាក់ព័ន្ធទាំងស្រុង ដោយប្រើបរិបទសំណួរដើម្បីកំណត់ភាពពាក់ព័ន្ធ។
ការបន្ថែមការបង្ហាប់តាមបរិបទជាមួយនឹងឧបករណ៍ដកខ្សែសង្វាក់ LLM
ជាដំបូង រុំអ្នកយកមូលដ្ឋានរបស់អ្នកជាមួយ a ContextualCompressionRetriever
. អ្នកនឹងបន្ថែម LLMChainExtractorដែលនឹងធ្វើឡើងវិញលើឯកសារដែលបានបញ្ជូនមកវិញដំបូង ហើយស្រង់ចេញពីខ្លឹមសារនីមួយៗដែលពាក់ព័ន្ធទៅនឹងសំណួរ។
ចាប់ផ្តើមខ្សែសង្វាក់ដោយប្រើ ContextualCompressionRetriever
ជាមួយនឹងការ LLMChainExtractor
ហើយឆ្លងកាត់ប្រអប់បញ្ចូលតាមរយៈ chain_type_kwargs
អាគុយម៉ង់។
តោះសួរសំណួរមួយ៖
ត្រងឯកសារជាមួយតម្រងខ្សែសង្វាក់ LLM
នេះ តម្រង LLMChain គឺជាម៉ាស៊ីនបង្ហាប់ដែលសាមញ្ញជាងបន្តិច ប៉ុន្តែរឹងមាំជាងនេះ ដែលប្រើខ្សែសង្វាក់ LLM ដើម្បីសម្រេចថាតើឯកសារណាមួយដែលបានទាញយកដំបូងដើម្បីត្រងចេញ និងមួយណាដែលត្រូវត្រលប់មកវិញ ដោយមិនចាំបាច់រៀបចំខ្លឹមសារឯកសារ៖
ចាប់ផ្តើមខ្សែសង្វាក់ដោយប្រើ ContextualCompressionRetriever
ជាមួយនឹងការ LLMChainFilter
ហើយឆ្លងកាត់ប្រអប់បញ្ចូលតាមរយៈ chain_type_kwargs
អាគុយម៉ង់។
តោះសួរសំណួរមួយ៖
ប្រៀបធៀបលទ្ធផល
តារាងខាងក្រោមប្រៀបធៀបលទ្ធផលពីសំណួរផ្សេងៗគ្នាដោយផ្អែកលើបច្ចេកទេស។
បច្ចេកទេស | សំណួរ ១ | សំណួរ ១ | ប្រៀបធៀប |
តើ AWS មានការវិវត្តយ៉ាងដូចម្តេច? | ហេតុអ្វីបានជា Amazon ជោគជ័យ? | ||
ទិន្នផលខ្សែសង្វាក់ Retriever ធម្មតា។ | AWS (Amazon Web Services) បានវិវត្តន៍ពីការវិនិយោគដំបូងដែលមិនរកប្រាក់ចំណេញទៅជាអាជីវកម្មដែលមានអត្រាប្រាក់ចំណូលប្រចាំឆ្នាំ $85B ជាមួយនឹងប្រាក់ចំណេញខ្លាំង ផ្តល់ជូននូវសេវាកម្ម និងលក្ខណៈពិសេសជាច្រើន ហើយក្លាយជាផ្នែកសំខាន់នៃផលប័ត្ររបស់ក្រុមហ៊ុន Amazon។ ទោះបីជាប្រឈមមុខនឹងការសង្ស័យ និងបញ្ហាប្រឈមក្នុងរយៈពេលខ្លីក៏ដោយ ក៏ AWS បន្តបង្កើតថ្មី ទាក់ទាញអតិថិជនថ្មី និងធ្វើចំណាកស្រុកអតិថិជនសកម្ម ដោយផ្តល់នូវអត្ថប្រយោជន៍ដូចជា ភាពរហ័សរហួន ការបង្កើតថ្មី ប្រសិទ្ធភាពចំណាយ និងសុវត្ថិភាព។ AWS ក៏បានពង្រីកការវិនិយោគរយៈពេលវែងរបស់ខ្លួន រួមទាំងការអភិវឌ្ឍន៍បន្ទះឈីប ដើម្បីផ្តល់នូវសមត្ថភាពថ្មី និងផ្លាស់ប្តូរអ្វីដែលអាចធ្វើទៅបានសម្រាប់អតិថិជនរបស់ខ្លួន។ | Amazon ទទួលបានជោគជ័យដោយសារតែការបង្កើតថ្មី និងការពង្រីកជាបន្តបន្ទាប់របស់ខ្លួនទៅកាន់ផ្នែកថ្មីៗដូចជា សេវាហេដ្ឋារចនាសម្ព័ន្ធបច្ចេកវិទ្យា ឧបករណ៍អានឌីជីថល ជំនួយការផ្ទាល់ខ្លួនដែលដឹកនាំដោយសំឡេង និងគំរូអាជីវកម្មថ្មីដូចជាទីផ្សារភាគីទីបី។ សមត្ថភាពក្នុងការធ្វើមាត្រដ្ឋានប្រតិបត្តិការយ៉ាងឆាប់រហ័ស ដូចដែលបានឃើញនៅក្នុងការពង្រីកយ៉ាងឆាប់រហ័សនៃការបំពេញ និងបណ្តាញដឹកជញ្ជូន ក៏រួមចំណែកដល់ភាពជោគជ័យរបស់វាផងដែរ។ លើសពីនេះ ការផ្តោតអារម្មណ៍របស់ Amazon លើការបង្កើនប្រសិទ្ធភាព និងការបង្កើនប្រសិទ្ធភាពនៅក្នុងដំណើរការរបស់ខ្លួន បានបណ្តាលឱ្យមានការកែលម្អផលិតភាព និងការកាត់បន្ថយការចំណាយ។ ឧទាហរណ៍នៃក្រុមហ៊ុន Amazon Business បង្ហាញពីសមត្ថភាពរបស់ក្រុមហ៊ុនក្នុងការបង្កើនភាពខ្លាំងនៃពាណិជ្ជកម្មអេឡិចត្រូនិក និងភ័ស្តុភារនៅក្នុងវិស័យផ្សេងៗ។ | ដោយផ្អែកលើការឆ្លើយតបពីខ្សែសង្វាក់ retriever ធម្មតា យើងកត់សំគាល់ថា ទោះបីជាវាផ្តល់ចម្លើយដ៏វែងក៏ដោយ វាទទួលរងនូវបរិបទលើសចំណុះ និងមិនអាចនិយាយអំពីព័ត៌មានលម្អិតសំខាន់ៗណាមួយពីស្ថាប័នទាក់ទងនឹងការឆ្លើយតបទៅនឹងសំណួរដែលបានផ្តល់។ ខ្សែសង្វាក់ការទាញយកធម្មតាមិនអាចចាប់យកភាពជាក់លាក់ជាមួយនឹងភាពស៊ីជម្រៅ ឬការយល់ដឹងតាមបរិបទ ដែលអាចបាត់បង់ទិដ្ឋភាពសំខាន់ៗនៃឯកសារ។ |
លទ្ធផល Retriever ឯកសារមេ | AWS (Amazon Web Services) បានចាប់ផ្តើមជាមួយនឹងការចាប់ផ្តើមដំបូងដែលមានមុខងារខ្សោយនៃសេវាកម្ម Elastic Compute Cloud (EC2) ក្នុងឆ្នាំ 2006 ដោយផ្តល់នូវទំហំឧទាហរណ៍តែមួយនៅក្នុងមជ្ឈមណ្ឌលទិន្នន័យមួយ នៅក្នុងតំបន់មួយនៃពិភពលោក ជាមួយនឹងប្រព័ន្ធប្រតិបត្តិការលីនុចតែប៉ុណ្ណោះ។ និងដោយគ្មានមុខងារសំខាន់ៗជាច្រើនដូចជា ការត្រួតពិនិត្យ ការផ្ទុកតុល្យភាព ការធ្វើមាត្រដ្ឋានដោយស្វ័យប្រវត្តិ ឬការផ្ទុកបន្ត។ ទោះជាយ៉ាងណាក៏ដោយ ភាពជោគជ័យរបស់ AWS បានអនុញ្ញាតឱ្យពួកគេធ្វើការរំលឹកឡើងវិញ និងបន្ថែមសមត្ថភាពដែលបាត់នោះបានយ៉ាងឆាប់រហ័ស ទីបំផុតបានពង្រីកដើម្បីផ្តល់នូវរសជាតិ ទំហំផ្សេងៗ និងការបង្កើនប្រសិទ្ធភាពនៃការគណនា ការផ្ទុក និងបណ្តាញ ក៏ដូចជាការអភិវឌ្ឍន៍បន្ទះឈីបផ្ទាល់ខ្លួនរបស់ពួកគេ (Graviton) ដើម្បីជំរុញតម្លៃ និងដំណើរការបន្ថែមទៀត។ . ដំណើរការបង្កើតថ្មីដដែលៗរបស់ AWS ទាមទារការវិនិយោគសំខាន់ៗនៅក្នុងធនធានហិរញ្ញវត្ថុ និងធនធានមនុស្សក្នុងរយៈពេល 20 ឆ្នាំ ជាញឹកញាប់មុនពេលដែលវានឹងទូទាត់សង ដើម្បីបំពេញតម្រូវការអតិថិជន និងកែលម្អបទពិសោធន៍អតិថិជនយូរអង្វែង ភាពស្មោះត្រង់ និងផលចំណេញសម្រាប់ម្ចាស់ភាគហ៊ុន។ | Amazon ទទួលបានជោគជ័យដោយសារតែសមត្ថភាពរបស់ខ្លួនក្នុងការច្នៃប្រឌិតឥតឈប់ឈរ សម្របខ្លួនទៅនឹងការផ្លាស់ប្តូរលក្ខខណ្ឌទីផ្សារ និងបំពេញតម្រូវការអតិថិជននៅក្នុងផ្នែកទីផ្សារផ្សេងៗ។ នេះជាភស្តុតាងនៅក្នុងភាពជោគជ័យនៃអាជីវកម្ម Amazon ដែលបានកើនឡើងដើម្បីជំរុញប្រហែល $35B ក្នុងការលក់សរុបប្រចាំឆ្នាំដោយផ្តល់នូវជម្រើស តម្លៃ និងភាពងាយស្រួលដល់អតិថិជនអាជីវកម្ម។ ការវិនិយោគរបស់ក្រុមហ៊ុន Amazon លើសមត្ថភាពអេឡិចត្រូនិក និងការដឹកជញ្ជូនក៏បានបើកដំណើរការបង្កើតសេវាកម្មដូចជា Buy with Prime ដែលជួយពាណិជ្ជករដែលមានគេហទំព័រផ្ទាល់ទៅអ្នកប្រើប្រាស់ជំរុញការបំប្លែងពីការមើលទៅការទិញ។ | អ្នកទាញយកឯកសារមេ ស្វែងយល់ឱ្យកាន់តែស៊ីជម្រៅទៅក្នុងភាពជាក់លាក់នៃយុទ្ធសាស្ត្រកំណើនរបស់ AWS រួមទាំងដំណើរការដដែលៗនៃការបន្ថែមមុខងារថ្មីដោយផ្អែកលើមតិកែលម្អរបស់អតិថិជន និងដំណើរលម្អិតពីការបើកដំណើរការដំបូងដែលមានមុខងារខ្សោយទៅទីតាំងទីផ្សារលេចធ្លោ ខណៈពេលដែលផ្តល់នូវការឆ្លើយតបដែលសំបូរទៅដោយបរិបទ។ . ការឆ្លើយតបគ្របដណ្តប់លើទិដ្ឋភាពជាច្រើន ចាប់ពីការច្នៃប្រឌិតបច្ចេកទេស និងយុទ្ធសាស្ត្រទីផ្សារ រហូតដល់ប្រសិទ្ធភាពនៃអង្គភាព និងការផ្តោតអារម្មណ៍របស់អតិថិជន ដោយផ្តល់នូវទិដ្ឋភាពរួមនៃកត្តាដែលរួមចំណែកដល់ភាពជោគជ័យ រួមជាមួយនឹងឧទាហរណ៍។ នេះអាចត្រូវបានកំណត់គុណលក្ខណៈដោយសមត្ថភាពស្វែងរកគោលដៅរបស់អ្នកយកឯកសារមេ។ |
LLM Chain Extractor៖ ទិន្នផលបង្ហាប់តាមបរិបទ | AWS បានវិវត្តន៍ដោយចាប់ផ្តើមជាគម្រោងតូចមួយនៅក្នុងក្រុមហ៊ុន Amazon ដែលទាមទារការវិនិយោគទុនសំខាន់ៗ និងប្រឈមនឹងការសង្ស័យពីខាងក្នុង និងខាងក្រៅក្រុមហ៊ុន។ ទោះជាយ៉ាងណាក៏ដោយ AWS បានចាប់ផ្តើមនាំមុខលើដៃគូប្រកួតប្រជែងដែលមានសក្តានុពល ហើយជឿជាក់លើតម្លៃដែលវាអាចនាំមកជូនអតិថិជន និង Amazon ។ AWS បានធ្វើការប្តេជ្ញាចិត្តរយៈពេលវែងក្នុងការបន្តការវិនិយោគ ដែលបណ្តាលឱ្យមានមុខងារ និងសេវាកម្មថ្មីៗជាង 3,300 ដែលបានចាប់ផ្តើមនៅឆ្នាំ 2022។ AWS បានផ្លាស់ប្តូររបៀបដែលអតិថិជនគ្រប់គ្រងហេដ្ឋារចនាសម្ព័ន្ធបច្ចេកវិទ្យារបស់ពួកគេ ហើយបានក្លាយទៅជាអាជីវកម្មដែលមានអត្រាប្រាក់ចំណូលប្រចាំឆ្នាំ 85 ពាន់លានដុល្លារ ជាមួយនឹងប្រាក់ចំណេញខ្លាំង។ AWS ក៏បានធ្វើឱ្យប្រសើរឡើងជាបន្តបន្ទាប់នូវការផ្តល់ជូនរបស់ខ្លួន ដូចជាការពង្រឹង EC2 ជាមួយនឹងមុខងារ និងសេវាកម្មបន្ថែមបន្ទាប់ពីការចាប់ផ្តើមដំបូងរបស់វា។ | ដោយផ្អែកលើបរិបទដែលបានផ្តល់ ភាពជោគជ័យរបស់ Amazon អាចត្រូវបានសន្មតថាជាការពង្រីកយុទ្ធសាស្រ្តរបស់ខ្លួនពីវេទិកាលក់សៀវភៅទៅកាន់ទីផ្សារពិភពលោកជាមួយនឹងប្រព័ន្ធអេកូអ្នកលក់ភាគីទីបីដ៏រស់រវើក ការវិនិយោគដំបូងនៅក្នុង AWS ការច្នៃប្រឌិតថ្មីក្នុងការណែនាំ Kindle និង Alexa និងកំណើនយ៉ាងច្រើន។ នៅក្នុងប្រាក់ចំណូលប្រចាំឆ្នាំចាប់ពីឆ្នាំ 2019 ដល់ឆ្នាំ 2022។ កំណើននេះបាននាំឱ្យមានការពង្រីកទីតាំងមជ្ឈមណ្ឌលបំពេញ ការបង្កើតបណ្តាញដឹកជញ្ជូនចម្ងាយចុងក្រោយ និងការកសាងបណ្តាញមជ្ឈមណ្ឌលតម្រៀបថ្មី ដែលត្រូវបានធ្វើឱ្យប្រសើរឡើងសម្រាប់ផលិតភាព និងការកាត់បន្ថយការចំណាយ។ | ឧបករណ៍ដកខ្សែសង្វាក់ LLM រក្សាតុល្យភាពរវាងការគ្របដណ្តប់ចំណុចសំខាន់ៗយ៉ាងទូលំទូលាយ និងជៀសវាងជម្រៅដែលមិនចាំបាច់។ វាកែតម្រូវដោយថាមវន្តទៅនឹងបរិបទរបស់សំណួរ ដូច្នេះលទ្ធផលគឺពាក់ព័ន្ធដោយផ្ទាល់ និងទូលំទូលាយ។ |
តម្រងខ្សែសង្វាក់ LLM៖ លទ្ធផលការបង្ហាប់តាមបរិបទ | AWS (Amazon Web Services) បានវិវឌ្ឍន៍ដោយចាប់ផ្តើមដំណើរការមុខងារខ្សោយ ប៉ុន្តែដំណើរការឡើងវិញយ៉ាងឆាប់រហ័សដោយផ្អែកលើមតិកែលម្អរបស់អតិថិជន ដើម្បីបន្ថែមសមត្ថភាពចាំបាច់។ វិធីសាស្រ្តនេះបានអនុញ្ញាតឱ្យ AWS បើកដំណើរការ EC2 ក្នុងឆ្នាំ 2006 ជាមួយនឹងលក្ខណៈពិសេសដែលមានកម្រិត ហើយបន្ទាប់មកបន្តបន្ថែមមុខងារថ្មីៗ ដូចជាទំហំបន្ថែម មជ្ឈមណ្ឌលទិន្នន័យ តំបន់ ជម្រើសប្រព័ន្ធប្រតិបត្តិការ ឧបករណ៍ត្រួតពិនិត្យ ការផ្ទុកតុល្យភាព ការធ្វើមាត្រដ្ឋានដោយស្វ័យប្រវត្តិ និងការផ្ទុកជាប់លាប់។ យូរ ៗ ទៅ AWS បានផ្លាស់ប្តូរពីសេវាកម្មមិនល្អទៅជាអាជីវកម្មដែលមានតម្លៃរាប់ពាន់លានដុល្លារ ដោយផ្តោតលើតម្រូវការអតិថិជន ភាពរហ័សរហួន ការបង្កើតថ្មី ប្រសិទ្ធភាពចំណាយ និងសុវត្ថិភាព។ ឥឡូវនេះ AWS មានអត្រាការប្រាក់ចំណូលប្រចាំឆ្នាំចំនួន $85B និងផ្តល់នូវមុខងារ និងសេវាកម្មថ្មីៗជាង 3,300 ជារៀងរាល់ឆ្នាំ ដោយផ្តល់ជូនអតិថិជនជាច្រើនចាប់ពីការចាប់ផ្តើមអាជីវកម្មរហូតដល់ក្រុមហ៊ុនពហុជាតិសាសន៍ និងអង្គការវិស័យសាធារណៈ។ | Amazon ទទួលបានជោគជ័យដោយសារតែគំរូអាជីវកម្មប្រកបដោយភាពច្នៃប្រឌិត ភាពជឿនលឿននៃបច្ចេកវិទ្យាជាបន្តបន្ទាប់ និងការផ្លាស់ប្តូរជាយុទ្ធសាស្ត្រ។ ក្រុមហ៊ុនបានបង្អាក់ឧស្សាហកម្មប្រពៃណីជាបន្តបន្ទាប់ដោយការណែនាំគំនិតថ្មីៗ ដូចជាវេទិកាពាណិជ្ជកម្មអេឡិចត្រូនិកសម្រាប់ផលិតផល និងសេវាកម្មផ្សេងៗ ទីផ្សារភាគីទីបី សេវាហេដ្ឋារចនាសម្ព័ន្ធពពក (AWS) កម្មវិធីអានអេឡិចត្រូនិច Kindle និងជំនួយការផ្ទាល់ដែលជំរុញដោយសំឡេងរបស់ Alexa ។ . លើសពីនេះ Amazon បានធ្វើការផ្លាស់ប្តូររចនាសម្ព័ន្ធដើម្បីកែលម្អប្រសិទ្ធភាពរបស់វា ដូចជាការរៀបចំបណ្តាញបំពេញតម្រូវការរបស់សហរដ្ឋអាមេរិកឡើងវិញ ដើម្បីកាត់បន្ថយការចំណាយ និងពេលវេលាដឹកជញ្ជូន ដែលរួមចំណែកបន្ថែមទៀតដល់ភាពជោគជ័យរបស់វា។ | ស្រដៀងគ្នាទៅនឹងឧបករណ៍ចម្រោះខ្សែសង្វាក់ LLM តម្រងខ្សែសង្វាក់ LLM ធ្វើឱ្យប្រាកដថា ទោះបីជាចំណុចសំខាន់ៗត្រូវបានគ្របដណ្តប់ក៏ដោយ លទ្ធផលគឺមានប្រសិទ្ធភាពសម្រាប់អតិថិជនដែលកំពុងស្វែងរកចម្លើយសង្ខេប និងបរិបទ។ |
នៅពេលប្រៀបធៀបបច្ចេកទេសផ្សេងគ្នាទាំងនេះ យើងអាចឃើញថានៅក្នុងបរិបទដូចជាការរៀបរាប់លម្អិតអំពីការផ្លាស់ប្តូររបស់ AWS ពីសេវាកម្មសាមញ្ញទៅអង្គភាពដែលមានតម្លៃរាប់ពាន់លានដុល្លារ ឬការពន្យល់ពីភាពជោគជ័យជាយុទ្ធសាស្រ្តរបស់ Amazon ខ្សែសង្វាក់យកមកវិញធម្មតាខ្វះភាពជាក់លាក់ដែលបច្ចេកទេសកាន់តែទំនើបផ្តល់ជូន។ នាំទៅរកព័ត៌មានដែលកំណត់គោលដៅតិច។ ទោះបីជាមានភាពខុសគ្នាតិចតួចបំផុតដែលអាចមើលឃើញរវាងបច្ចេកទេសកម្រិតខ្ពស់ដែលបានពិភាក្សាក៏ដោយ ពួកគេមានព័ត៌មានច្រើនជាងខ្សែសង្វាក់ retriever ធម្មតា។
សម្រាប់អតិថិជននៅក្នុងឧស្សាហកម្មដូចជា ការថែទាំសុខភាព ទូរគមនាគមន៍ និងសេវាកម្មហិរញ្ញវត្ថុដែលចង់អនុវត្ត RAG នៅក្នុងកម្មវិធីរបស់ពួកគេ ដែនកំណត់នៃខ្សែសង្វាក់ retriever ធម្មតាក្នុងការផ្តល់នូវភាពជាក់លាក់ ជៀសវាងការលែងត្រូវការគ្នា និងការបង្រួមព័ត៌មានប្រកបដោយប្រសិទ្ធភាព ធ្វើឱ្យវាមិនសូវសមស្របក្នុងការបំពេញតម្រូវការទាំងនេះបើប្រៀបធៀប។ ទៅឧបករណ៍ទាញយកឯកសារមេកម្រិតខ្ពស់ និងបច្ចេកទេសបង្ហាប់តាមបរិបទ។ បច្ចេកទេសទាំងនេះអាចបំប្លែងព័ត៌មានយ៉ាងច្រើនទៅក្នុងការយល់ដឹងដែលផ្តោតអារម្មណ៍ និងមានប្រសិទ្ធភាពដែលអ្នកត្រូវការ ខណៈពេលដែលជួយកែលម្អការអនុវត្តតម្លៃ។
សម្អាត។
នៅពេលអ្នកដំណើរការសៀវភៅកត់ត្រារួចរាល់ សូមលុបធនធានដែលអ្នកបានបង្កើត ដើម្បីជៀសវាងការគិតថ្លៃបន្ថែមសម្រាប់ធនធានដែលកំពុងប្រើប្រាស់៖
សន្និដ្ឋាន
នៅក្នុងការបង្ហោះនេះ យើងបានបង្ហាញពីដំណោះស្រាយដែលអនុញ្ញាតឱ្យអ្នកអនុវត្តការទាញយកឯកសារមេ និងបច្ចេកទេសខ្សែសង្វាក់បង្ហាប់តាមបរិបទ ដើម្បីបង្កើនសមត្ថភាពរបស់ LLMs ក្នុងដំណើរការ និងបង្កើតព័ត៌មាន។ យើងបានសាកល្បងបច្ចេកទេស RAG កម្រិតខ្ពស់ទាំងនេះជាមួយនឹងម៉ូដែល Mixtral-8x7B Instruct និង BGE Large En ដែលមានជាមួយ SageMaker JumpStart ។ យើងក៏បានស្វែងយល់ផងដែរដោយប្រើការផ្ទុកជាប់លាប់សម្រាប់ការបង្កប់ និងកំណាត់ឯកសារ និងការរួមបញ្ចូលជាមួយឃ្លាំងទិន្នន័យសហគ្រាស។
បច្ចេកទេសដែលយើងបានធ្វើមិនត្រឹមតែកែលម្អវិធីដែលម៉ូដែល LLM ចូលប្រើ និងបញ្ចូលចំណេះដឹងខាងក្រៅប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងធ្វើអោយប្រសើរឡើងយ៉ាងខ្លាំងនូវគុណភាព ភាពពាក់ព័ន្ធ និងប្រសិទ្ធភាពនៃលទ្ធផលរបស់ពួកគេ។ ដោយការរួមបញ្ចូលការទាញយកពីសារអត្ថបទធំជាមួយនឹងសមត្ថភាពបង្កើតភាសា បច្ចេកទេស RAG កម្រិតខ្ពស់ទាំងនេះអាចឱ្យ LLMs បង្កើតការឆ្លើយតបជាក់ស្តែង ស៊ីសង្វាក់គ្នា និងសមស្របតាមបរិបទ បង្កើនការអនុវត្តរបស់ពួកគេលើកិច្ចការដំណើរការភាសាធម្មជាតិផ្សេងៗ។
SageMaker JumpStart គឺជាចំណុចកណ្តាលនៃដំណោះស្រាយនេះ។ ជាមួយនឹង SageMaker JumpStart អ្នកទទួលបាននូវការចាត់ថ្នាក់យ៉ាងទូលំទូលាយនៃគំរូប្រភពបើកចំហ និងបិទ ដែលជួយសម្រួលដំណើរការនៃការចាប់ផ្តើមជាមួយ ML និងបើកការពិសោធន៍ និងការដាក់ឱ្យប្រើប្រាស់យ៉ាងរហ័ស។ ដើម្បីចាប់ផ្តើមប្រើប្រាស់ដំណោះស្រាយនេះ សូមចូលទៅកាន់ Notebook នៅក្នុង GitHub repo.
អំពីនិពន្ធនេះ
នីធី វីជេសវ៉ារ៉ាន់ គឺជាដំណោះស្រាយស្ថាបត្យករនៅ AWS ។ ការផ្តោតអារម្មណ៍របស់គាត់គឺ AI បង្កើត និង AWS AI Accelerators ។ លោកបានបញ្ចប់ថ្នាក់បរិញ្ញាបត្រផ្នែកវិទ្យាសាស្ត្រកុំព្យូទ័រ និងជីវព័ត៌មានវិទ្យា។ Niithiyn ធ្វើការយ៉ាងជិតស្និទ្ធជាមួយក្រុម Generative AI GTM ដើម្បីឱ្យអតិថិជន AWS នៅលើផ្នែកជាច្រើន និងបង្កើនល្បឿននៃការទទួលយក AI ជំនាន់ថ្មី។ គាត់ជាអ្នកគាំទ្ររបស់ Dallas Mavericks ហើយចូលចិត្តប្រមូលស្បែកជើងប៉ាតា។
Sebastian Bustillo គឺជាដំណោះស្រាយស្ថាបត្យករនៅ AWS ។ គាត់ផ្តោតលើបច្ចេកវិទ្យា AI/ML ជាមួយនឹងចំណង់ចំណូលចិត្តយ៉ាងជ្រាលជ្រៅចំពោះ AI ជំនាន់ថ្មី និងឧបករណ៍បង្កើនល្បឿនគណនា។ នៅ AWS គាត់ជួយអតិថិជនដោះសោតម្លៃអាជីវកម្មតាមរយៈ AI ជំនាន់។ នៅពេលគាត់មិននៅកន្លែងធ្វើការ គាត់ចូលចិត្តញ៉ាំកាហ្វេពិសេសមួយពែង និងស្វែងយល់ពិភពលោកជាមួយប្រពន្ធរបស់គាត់។
អាម៉ាន់ដូ ឌីយ៉ាស គឺជាដំណោះស្រាយស្ថាបត្យករនៅ AWS ។ គាត់ផ្តោតលើ AI ជំនាន់ថ្មី AI/ML និងការវិភាគទិន្នន័យ។ នៅ AWS, Armando ជួយអតិថិជនក្នុងការរួមបញ្ចូលសមត្ថភាព AI ជំនាន់ចុងក្រោយទៅក្នុងប្រព័ន្ធរបស់ពួកគេ ជំរុញការបង្កើតថ្មី និងអត្ថប្រយោជន៍ប្រកួតប្រជែង។ នៅពេលដែលគាត់មិននៅកន្លែងធ្វើការ គាត់ចូលចិត្តចំណាយពេលជាមួយប្រពន្ធ និងក្រុមគ្រួសាររបស់គាត់ ដើរលេង និងធ្វើដំណើរជុំវិញពិភពលោក។
វេជ្ជបណ្ឌិត Farooq Sabir គឺជាស្ថាបត្យករឯកទេសដំណោះស្រាយផ្នែកវៃឆ្លាតសិប្បនិម្មិតជាន់ខ្ពស់ និងម៉ាស៊ីនរៀនសូត្រនៅ AWS។ គាត់បានទទួលសញ្ញាប័ត្របណ្ឌិត និង MS ផ្នែកវិស្វកម្មអគ្គិសនីពីសាកលវិទ្យាល័យ Texas នៅ Austin និង MS ផ្នែកវិទ្យាសាស្ត្រកុំព្យូទ័រពីវិទ្យាស្ថានបច្ចេកវិទ្យាហ្សកហ្ស៊ី។ គាត់មានបទពិសោធន៍ការងារជាង 15 ឆ្នាំ ហើយក៏ចូលចិត្តបង្រៀន និងណែនាំដល់និស្សិតមហាវិទ្យាល័យផងដែរ។ នៅ AWS គាត់ជួយអតិថិជនបង្កើត និងដោះស្រាយបញ្ហាអាជីវកម្មរបស់ពួកគេក្នុងវិទ្យាសាស្ត្រទិន្នន័យ ការរៀនម៉ាស៊ីន ចក្ខុវិស័យកុំព្យូទ័រ បញ្ញាសិប្បនិមិត្ត ការបង្កើនប្រសិទ្ធភាពលេខ និងដែនពាក់ព័ន្ធ។ មានមូលដ្ឋាននៅទីក្រុង Dallas រដ្ឋតិចសាស់ គាត់ និងក្រុមគ្រួសារចូលចិត្តធ្វើដំណើរ និងធ្វើដំណើរតាមផ្លូវឆ្ងាយ។
Marco Punio គឺជាដំណោះស្រាយស្ថាបត្យករផ្តោតលើយុទ្ធសាស្ត្រ AI ជំនាន់ថ្មី អនុវត្តដំណោះស្រាយ AI និងធ្វើការស្រាវជ្រាវដើម្បីជួយអតិថិជនលើសកម្រិតលើ AWS ។ Marco គឺជាអ្នកប្រឹក្សាពពកឌីជីថលដើមដែលមានបទពិសោធន៍ក្នុងផ្នែក FinTech, Healthcare & Life Sciences, Software-as-a-service និងថ្មីៗបំផុតនៅក្នុងឧស្សាហកម្មទូរគមនាគមន៍។ គាត់គឺជាអ្នកបច្ចេកទេសដែលមានលក្ខណៈសម្បត្តិគ្រប់គ្រាន់ដែលមានចំណង់ចំណូលចិត្តក្នុងការរៀនម៉ាស៊ីន បញ្ញាសិប្បនិម្មិត និងការរួមបញ្ចូលគ្នា និងការទិញយក។ Marco មានមូលដ្ឋាននៅទីក្រុង Seattle, WA ហើយចូលចិត្តការសរសេរ ការអាន ការធ្វើលំហាត់ប្រាណ និងការកសាងកម្មវិធីនៅពេលទំនេររបស់គាត់។
AJ Dhimine គឺជាដំណោះស្រាយស្ថាបត្យករនៅ AWS ។ គាត់មានឯកទេសខាង AI ជំនាន់ថ្មី កុំព្យូទ័រគ្មានម៉ាស៊ីនមេ និងការវិភាគទិន្នន័យ។ គាត់គឺជាសមាជិក/អ្នកណែនាំសកម្មនៅក្នុងសហគមន៍វាលបច្ចេកទេសនៃការរៀនម៉ាស៊ីន ហើយបានបោះពុម្ពឯកសារវិទ្យាសាស្ត្រជាច្រើនលើប្រធានបទ AI/ML ផ្សេងៗ។ គាត់ធ្វើការជាមួយអតិថិជន ចាប់ពីការចាប់ផ្តើមអាជីវកម្ម រហូតដល់សហគ្រាស ដើម្បីបង្កើតដំណោះស្រាយ AI ជំនាន់ AWSome ។ គាត់មានចំណង់ខ្លាំងជាពិសេសក្នុងការប្រើគំរូភាសាធំសម្រាប់ការវិភាគទិន្នន័យកម្រិតខ្ពស់ និងស្វែងរកកម្មវិធីជាក់ស្តែងដែលដោះស្រាយបញ្ហាប្រឈមក្នុងពិភពពិត។ ក្រៅពីការងារ AJ ចូលចិត្តធ្វើដំណើរ ហើយបច្ចុប្បន្នកំពុងនៅប្រទេសចំនួន 53 ដែលមានគោលដៅទៅទស្សនាគ្រប់ប្រទេសក្នុងពិភពលោក។
- SEO ដែលដំណើរការដោយមាតិកា និងការចែកចាយ PR ។ ទទួលបានការពង្រីកថ្ងៃនេះ។
- PlatoData.Network Vertical Generative Ai. ផ្តល់អំណាចដល់ខ្លួនអ្នក។ ចូលប្រើទីនេះ។
- PlatoAiStream Web3 Intelligence ។ ចំណេះដឹងត្រូវបានពង្រីក។ ចូលប្រើទីនេះ។
- ផ្លាតូអេសជី។ កាបូន CleanTech, ថាមពល, បរិស្ថាន, ពន្លឺព្រះអាទិត្យ ការគ្រប់គ្រងកាកសំណល់។ ចូលប្រើទីនេះ។
- ផ្លាតូសុខភាព។ ជីវបច្ចេកវិទ្យា និង ភាពវៃឆ្លាត សាកល្បងគ្លីនិក។ ចូលប្រើទីនេះ។
- ប្រភព: https://aws.amazon.com/blogs/machine-learning/advanced-rag-patterns-on-amazon-sagemaker/