ആമസോൺ വെയർഹൗസുകൾ രൂപകൽപ്പന ചെയ്യുകയും നിർമ്മിക്കുകയും ചെയ്യുന്ന എഞ്ചിനീയറിംഗ് ടീമാണ് ആമസോൺ EU ഡിസൈൻ ആൻഡ് കൺസ്ട്രക്ഷൻ (ആമസോൺ D&C) ടീം. വെയർഹൗസ് ഡിസൈൻ ഉയർന്ന നിലവാരം പുലർത്തുന്നുവെന്ന് ഉറപ്പാക്കാൻ ടീം ഒരു വലിയ അളവിലുള്ള പ്രമാണങ്ങൾ നാവിഗേറ്റ് ചെയ്യുകയും ശരിയായ വിവരങ്ങൾ കണ്ടെത്തുകയും ചെയ്യുന്നു. പോസ്റ്റിൽ ആമസോൺ സേജ് മേക്കറിൽ ഒരു ജനറേറ്റീവ് AI- പവർ സൊല്യൂഷൻ ആമസോൺ EU ഡിസൈനും നിർമ്മാണവും സഹായിക്കുന്നതിന്, a ഉപയോഗിച്ച് ബോട്ട് സൊല്യൂഷന് ഉത്തരം നൽകുന്ന ഒരു ചോദ്യം ഞങ്ങൾ അവതരിപ്പിച്ചു വീണ്ടെടുക്കൽ ഓഗ്മെന്റഡ് ജനറേഷൻ (RAG) പൈപ്പ് ലൈൻ നന്നായി ട്യൂൺ ചെയ്തു വലിയ ഭാഷാ മാതൃക (LLM) ആമസോൺ D&C-യ്‌ക്ക് വേണ്ടിയുള്ള അസംഘടിത ഡോക്യുമെൻ്റുകളുടെ വലിയ അളവിലുള്ള കൃത്യമായ വിവരങ്ങൾ കാര്യക്ഷമമായി വീണ്ടെടുക്കുന്നതിനും അവരുടെ നിർമ്മാണ പദ്ധതികളിൽ സമയബന്ധിതവും ഉയർന്ന നിലവാരമുള്ളതുമായ സേവനങ്ങൾ നൽകുന്നതിനും. ആമസോൺ ഡി ആൻഡ് സി ടീം ആമസോൺ എഞ്ചിനീയർമാർക്കായി ഒരു പൈലറ്റിൽ പരിഹാരം നടപ്പിലാക്കുകയും ഉപയോക്തൃ ഫീഡ്‌ബാക്ക് ശേഖരിക്കുകയും ചെയ്തു.

ഈ പോസ്റ്റിൽ, ഞങ്ങൾ എങ്ങനെയാണ് ഫീഡ്‌ബാക്ക് ഡാറ്റ വിശകലനം ചെയ്‌തതെന്നും RAG നൽകിയ കൃത്യതയുടെയും ഭ്രമാത്മകതയുടെയും പരിമിതികൾ തിരിച്ചറിഞ്ഞുവെന്നും മോഡലിനെ പരിശീലിപ്പിക്കാൻ മാനുഷിക മൂല്യനിർണ്ണയ സ്‌കോർ ഉപയോഗിച്ചതെന്നും ഞങ്ങൾ പങ്കിടുന്നു. ബലപ്പെടുത്തുന്ന പഠനം. മികച്ച പഠനത്തിനായി പരിശീലന സാമ്പിളുകൾ വർദ്ധിപ്പിക്കുന്നതിന്, ഫീഡ്‌ബാക്ക് സ്‌കോറുകൾ സൃഷ്‌ടിക്കാൻ ഞങ്ങൾ മറ്റൊരു LLM ഉപയോഗിച്ചു. ഈ രീതി RAG പരിമിതി പരിഹരിക്കുകയും ബോട്ട് പ്രതികരണ നിലവാരം കൂടുതൽ മെച്ചപ്പെടുത്തുകയും ചെയ്തു. LLM പ്രകടന മെച്ചപ്പെടുത്തൽ പ്രകടമാക്കുന്നതിനായി ഞങ്ങൾ ശക്തിപ്പെടുത്തൽ പഠന പ്രക്രിയയും ബെഞ്ച്മാർക്കിംഗ് ഫലങ്ങളും അവതരിപ്പിക്കുന്നു. പരിഹാരം ഉപയോഗിക്കുന്നു ആമസോൺ സേജ് മേക്കർ ജമ്പ്സ്റ്റാർട്ട് മോഡൽ വിന്യാസം, ഫൈൻ ട്യൂണിംഗ്, റൈൻഫോഴ്സ്മെൻ്റ് ലേണിംഗ് എന്നിവയ്ക്കുള്ള പ്രധാന സേവനമായി.

ഒരു പൈലറ്റ് പ്രോജക്റ്റിൽ ആമസോൺ എഞ്ചിനീയർമാരിൽ നിന്ന് ഫീഡ്‌ബാക്ക് ശേഖരിക്കുക

വിവരിച്ച പരിഹാരം വികസിപ്പിച്ച ശേഷം ആമസോൺ സേജ് മേക്കറിൽ ഒരു ജനറേറ്റീവ് AI- പവർ സൊല്യൂഷൻ ആമസോൺ EU ഡിസൈനും നിർമ്മാണവും സഹായിക്കുന്നതിന്, ആമസോൺ ഡി & സി ടീം പരിഹാരം വിന്യസിക്കുകയും ആമസോൺ എഞ്ചിനീയർമാരുമായി ഒരു പൈലറ്റ് പ്രോജക്റ്റ് നടത്തുകയും ചെയ്തു. വികസിപ്പിച്ച ഒരു വെബ് ആപ്ലിക്കേഷൻ വഴിയാണ് എഞ്ചിനീയർമാർ പൈലറ്റ് സിസ്റ്റം ആക്സസ് ചെയ്തത് സ്ട്രീംലിറ്റ്, RAG പൈപ്പ്ലൈനുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു. പൈപ്പ്ലൈനിൽ, ഞങ്ങൾ ഉപയോഗിച്ചു ആമസോൺ ഓപ്പൺ സെർച്ച് സേവനം വെക്റ്റർ ഡാറ്റാബേസിനായി, ആമസോൺ സേജ് മേക്കറിൽ നന്നായി ട്യൂൺ ചെയ്ത മിസ്ട്രൽ-7ബി-ഇൻസ്ട്രക്റ്റ് മോഡൽ വിന്യസിച്ചു.

പൈലറ്റിൻ്റെ പ്രധാന ലക്ഷ്യങ്ങളിലൊന്ന്, ആമസോൺ എഞ്ചിനീയർമാരിൽ നിന്ന് ഫീഡ്‌ബാക്ക് ശേഖരിക്കുകയും എൽഎൽഎം ഹാലൂസിനേഷനുകൾ കൂടുതൽ കുറയ്ക്കുന്നതിന് ഫീഡ്‌ബാക്ക് ഉപയോഗിക്കുകയുമാണ്. ഇത് നേടുന്നതിന്, ഇനിപ്പറയുന്ന ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നതുപോലെ ഞങ്ങൾ യുഐയിൽ ഒരു ഫീഡ്‌ബാക്ക് ശേഖരണ മൊഡ്യൂൾ വികസിപ്പിച്ചെടുത്തു, കൂടാതെ വെബ് സെഷൻ വിവരങ്ങളും ഉപയോക്തൃ ഫീഡ്‌ബാക്കും സംഭരിച്ചു ആമസോൺ ഡൈനാമോഡിബി. ഫീഡ്‌ബാക്ക് ശേഖരണ യുഐ വഴി, ആമസോൺ എഞ്ചിനീയർമാർക്ക് അഞ്ച് സംതൃപ്തി തലങ്ങളിൽ നിന്ന് തിരഞ്ഞെടുക്കാനാകും: 1-5 വരെയുള്ള ഫീഡ്‌ബാക്ക് സ്‌കോറുകൾക്ക് അനുസൃതമായി ശക്തമായി വിയോജിക്കുന്നു, വിയോജിക്കുന്നു, നിഷ്പക്ഷത പുലർത്തുന്നു, സമ്മതിക്കുന്നു, ശക്തമായി സമ്മതിക്കുന്നു. LLM പ്രതികരണം തൃപ്തികരമല്ലാത്തത് എന്തുകൊണ്ടെന്ന ചോദ്യത്തിനോ അഭിപ്രായത്തിനോ അവർക്ക് മികച്ച ഉത്തരം നൽകാൻ കഴിയും.

പൈലറ്റ് സമയത്ത്, ഉപയോക്താക്കൾ 118 ഫീഡ്ബാക്ക് പ്രതികരണങ്ങൾ നൽകി. ഇനിപ്പറയുന്ന ചാർട്ട് നെഗറ്റീവ് മുതൽ പോസിറ്റീവ് വരെയുള്ള വിതരണം കാണിക്കുന്നു. നെഗറ്റീവ് ഫീഡ്‌ബാക്ക് അടയാളപ്പെടുത്തിയ തെറ്റായ ഉത്തരങ്ങൾ (വിയോജിക്കുന്നു, ശക്തമായി വിയോജിക്കുന്നു) മൊത്തം ഫീഡ്‌ബാക്കിൽ 45% ആണെന്ന് ഞങ്ങൾ നിരീക്ഷിച്ചു (53-ൽ 118). ചില പിശകുകൾ (ഏകദേശം 10% നെഗറ്റീവ് ഫീഡ്ബാക്കും 7.5% മൊത്തത്തിലുള്ള പ്രതികരണങ്ങളും) ഉപയോക്തൃ വിദ്യാഭ്യാസത്തിലൂടെയും പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗിലൂടെയും പരിഹരിക്കാനാകും. കൂടാതെ, അടുത്ത വിഭാഗത്തിൽ വിവരിച്ചിരിക്കുന്ന LLM ഫൈൻ-ട്യൂണിംഗിൻ്റെയും റൈൻഫോഴ്‌സ്‌മെൻ്റ് ലേണിംഗിൻ്റെയും പരിഹാരം ഉപയോഗിച്ച് ഞങ്ങൾക്ക് പ്രശ്‌നം പരിഹരിക്കാനാകും.

ചില ഉപയോക്താക്കൾ "മികച്ചത്!" എന്നതുപോലുള്ള ഒരു കുറിപ്പ് ഇടുന്നു. ശക്തമായി അംഗീകരിക്കുന്ന ഉത്തരങ്ങൾക്ക്, അല്ലെങ്കിൽ "ചോദ്യത്തിന് ഉത്തരം നൽകുന്നില്ല", ശക്തമായി വിയോജിക്കുന്ന ഉത്തരങ്ങൾക്ക്. മറ്റ് ഉപയോക്താക്കൾ സ്‌കോറുകൾ നൽകുകയും അവരുടെ കുറിപ്പുകളിലെ LLM ഉത്തരങ്ങളെ എങ്ങനെ ന്യായീകരിക്കുന്നുവെന്നും വിശദീകരിക്കുകയും ചെയ്തു. ഇനിപ്പറയുന്ന ഉദാഹരണത്തിൽ, LLM ഹാലൂസിനേഷൻ ശരിയാക്കാൻ ആവശ്യമായ പ്രമാണവും ഉള്ളടക്കവും ഉപയോക്താവ് പ്രത്യേകം നൽകി.

സൂപ്പർവൈസുചെയ്‌ത ഫൈൻ ട്യൂണിംഗും റൈൻഫോഴ്‌സ്‌മെൻ്റ് ലേണിംഗും ഉപയോഗിച്ച് ബോട്ട് പ്രതികരണം മെച്ചപ്പെടുത്തുക

ഫൈൻ ട്യൂണിംഗിൻ്റെ മൂന്ന് ഘട്ടങ്ങൾ ഈ പരിഹാരത്തിൽ അടങ്ങിയിരിക്കുന്നു:

1. ലേബൽ ചെയ്‌ത ഡാറ്റ ഉപയോഗിച്ച് സൂപ്പർവൈസ് ചെയ്‌ത ഫൈൻ-ട്യൂണിംഗ് നടത്തുക. ഈ രീതി വിവരിച്ചത് ആമസോൺ സേജ് മേക്കറിൽ ഒരു ജനറേറ്റീവ് AI- പവർ സൊല്യൂഷൻ ആമസോൺ EU ഡിസൈനും നിർമ്മാണവും സഹായിക്കുന്നതിന്.
2. കൂടുതൽ LLM ട്യൂണിംഗിനായി ചോദ്യ-ഉത്തര ജോഡികളെ ലേബൽ ചെയ്യുന്നതിന് ഉപയോക്തൃ ഫീഡ്‌ബാക്ക് ശേഖരിക്കുക.
3. പരിശീലന ഡാറ്റ തയ്യാറാകുമ്പോൾ, മോഡൽ ഉപയോഗിച്ച് കൂടുതൽ ട്യൂൺ ചെയ്യുക മനുഷ്യ ഫീഡ്‌ബാക്കിൽ നിന്ന് പഠിക്കുന്ന ശക്തിപ്പെടുത്തൽ (ആർഎൽഎച്ച്എഫ്).

ജനറേറ്റീവ് ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് (AI), LLM ആപ്ലിക്കേഷനുകളിൽ ഉടനീളം RLHF വ്യാപകമായി ഉപയോഗിക്കുന്നു. ഇത് റിവാർഡ് ഫംഗ്‌ഷനിൽ മനുഷ്യ ഫീഡ്‌ബാക്ക് സംയോജിപ്പിക്കുകയും റിവാർഡുകൾ പരമാവധിയാക്കാൻ ഒരു റൈൻഫോഴ്‌സ്‌മെൻ്റ് ലേണിംഗ് അൽഗോരിതം ഉപയോഗിച്ച് മോഡലിനെ പരിശീലിപ്പിക്കുകയും ചെയ്യുന്നു, ഇത് മോഡലിനെ മാനുഷിക ലക്ഷ്യങ്ങളുമായി കൂടുതൽ യോജിപ്പിച്ച് ടാസ്‌ക്കുകൾ നിർവ്വഹിക്കുന്നു. ഇനിപ്പറയുന്ന ഡയഗ്രം ഘട്ടങ്ങളുടെ പൈപ്പ്ലൈൻ കാണിക്കുന്നു.

SageMaker JumpStart-ൽ Mistral-7B മോഡൽ ഉപയോഗിച്ച് ഞങ്ങൾ ആമസോൺ D&C ഡോക്യുമെൻ്റുകൾ ഉപയോഗിച്ച് രീതിശാസ്ത്രം പരീക്ഷിച്ചു.

മേൽനോട്ടത്തിലുള്ള ഫൈൻ ട്യൂണിംഗ്

ഫൈൻ-ട്യൂൺ ചെയ്ത ഫാൽക്കൺ-7B മോഡൽ എങ്ങനെയാണ് RAG പൈപ്പ്‌ലൈനിനെ മറികടക്കുന്നതെന്നും QA ബോട്ട് പ്രതികരണത്തിൻ്റെ ഗുണനിലവാരവും കൃത്യതയും എങ്ങനെ മെച്ചപ്പെടുത്തുന്നുവെന്നും മുൻ പോസ്റ്റിൽ ഞങ്ങൾ കാണിച്ചുതന്നു. ഈ പോസ്റ്റിനായി, Mistral-7B മോഡലിൽ ഞങ്ങൾ മേൽനോട്ടത്തിലുള്ള ഫൈൻ ട്യൂണിംഗ് നടത്തി. സൂപ്പർവൈസുചെയ്‌ത ഫൈൻ-ട്യൂണിംഗ് 512 പാരാമീറ്ററുകളിൽ PEFT/LoRA ടെക്‌നിക് (LoRA_r = 1024, LoRA_alpha = 436,207,616) ഉപയോഗിച്ചു (മൊത്തം 5.68 പാരാമീറ്ററുകളുടെ 7,677,964,288%). LLM കൃത്രിമമായി സൃഷ്ടിച്ചതും മനുഷ്യർ സാധൂകരിച്ചതുമായ 3.8 സാമ്പിളുകളുള്ള p137x നോഡിലാണ് പരിശീലനം നടത്തിയത്; ഇനിപ്പറയുന്ന ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, 20 യുഗങ്ങൾക്ക് ശേഷം പ്രക്രിയ നന്നായി ഒത്തുചേരുന്നു.

ഫൈൻ-ട്യൂൺ ചെയ്ത മോഡൽ 274 സാമ്പിളുകളാൽ സാധൂകരിക്കപ്പെട്ടു, കൂടാതെ അനുമാന ഫലങ്ങൾ റഫറൻസ് ഉത്തരങ്ങളുമായി സെമാൻ്റിക് സമാനത സ്കോർ ഉപയോഗിച്ച് താരതമ്യം ചെയ്തു. സ്‌കോർ 0.8100 ആണ്, ഇത് പരമ്പരാഗത RAG-ൽ നിന്നുള്ള 0.6419 സ്‌കോറിനേക്കാൾ കൂടുതലാണ്.

ശക്തിപ്പെടുത്തൽ പഠനത്തിനായി മനുഷ്യരുടെയും AI യുടെയും ഫീഡ്‌ബാക്ക് ശേഖരിക്കുക

ആർഎൽഎച്ച്എഫിനായി, വിഷയ വിദഗ്ധർ (എസ്എംഇ) ലേബൽ ചെയ്‌ത ഉയർന്ന നിലവാരമുള്ള പരിശീലന സാമ്പിളുകളുടെ മതിയായ അളവ് അത്യന്താപേക്ഷിതമാണ്. എന്നിരുന്നാലും, മോശം നിലവാരമുള്ള മനുഷ്യ ലേബലുകൾ RLHF പരിശീലനത്തിന് ശേഷമുള്ള യഥാർത്ഥ മോഡലിനെക്കാൾ മോശമായ മോഡൽ പ്രകടനത്തിന് കാരണമാകും. എസ്എംഇകളുടെ സമയമാണ് ഏതൊരു സ്ഥാപനത്തിലും ഒരു വിരളമായ വിഭവം; നൂറുകണക്കിന് അല്ലെങ്കിൽ ആയിരക്കണക്കിന് LLM പ്രതികരണങ്ങൾ അവലോകനം ചെയ്യുന്നതിനും ഫീഡ്‌ബാക്ക് നൽകുന്നതിനും നിക്ഷേപത്തിൽ വ്യക്തമായ വരുമാനം ലഭിക്കാത്ത SME-കളിൽ നിന്ന് ഗണ്യമായ സമയ നിക്ഷേപം ആവശ്യമാണ്.

ഈ വെല്ലുവിളി നേരിടാൻ, ഞങ്ങൾ സ്വീകരിച്ചു AI ഫീഡ്‌ബാക്കിൽ നിന്ന് ശക്തിപ്പെടുത്തൽ പഠനം (RLAIF) രീതി. മൂല്യനിർണ്ണയ സ്കോറുകൾ നൽകുന്നതിന്, മനുഷ്യരിൽ നിന്നല്ല, RLAIF ഒരു AI സഹായിയെ (മറ്റൊരു LLM) നിയമിക്കുന്നു. ഈ ഹൈബ്രിഡ് ലേണിംഗ് സമീപനത്തിൽ, ഒരു മനുഷ്യനുമായുള്ള ഇടപെടലിനെ അടിസ്ഥാനമാക്കി മാത്രമല്ല, മറ്റൊരു AI മോഡൽ നൽകുന്ന ഫീഡ്‌ബാക്കിൽ നിന്നും പഠന ഏജൻ്റ് പ്രവർത്തനങ്ങൾ പരിഷ്കരിക്കുന്നു. ശാക്തീകരണ പഠനത്തിന് മതിയായ പരിശീലന ഡാറ്റ നൽകുന്നത് കൂടുതൽ സ്കെയിലബിൾ ആണ്, കൂടാതെ ഒരു ചെറിയ കൂട്ടം SME- കളിൽ നിന്നുള്ള പ്രത്യേക മുൻഗണനകളെ ആശ്രയിക്കാത്തതിനാൽ വളരെ കുറച്ച് ആത്മനിഷ്ഠമാണ്. SME-കൾ ഇപ്പോഴും ഉൾപ്പെട്ടിരിക്കാം, എന്നാൽ പ്രക്രിയയുടെ മേൽനോട്ടം വഹിക്കാനും AI ഫീഡ്‌ബാക്ക് ഗുണനിലവാരം പരിശോധിക്കാനും മാത്രം. ഇത് SME-കളുടെ ജോലിഭാരം ഗണ്യമായി കുറയ്ക്കുന്നു, കാരണം AI- സൃഷ്ടിച്ച സ്‌കോറുകളും ലേബലുകളും SME-കൾക്ക് വിശകലനം ചെയ്യുന്നതിനും ഫിൽട്ടർ ചെയ്യുന്നതിനും അടുക്കുന്നതിനും വളരെ സങ്കീർണ്ണമല്ല.

ഈ ഉപയോഗ സാഹചര്യത്തിൽ, ശക്തിപ്പെടുത്തൽ പഠന ഘട്ടത്തിനായുള്ള പരിശീലന സാമ്പിളുകളായി മൂല്യനിർണ്ണയ സ്കോറുകൾ സൃഷ്ടിക്കുന്നതിന് ഞങ്ങൾ ഒരു ആന്ത്രോപിക് ക്ലോഡ് 2 മോഡലിന് ഇനിപ്പറയുന്ന നിർദ്ദേശം നൽകുന്നു:

"""

Human:

I am going to provide you with a question, a reference answer, and an machine generated answer to the question.

question: {question}

reference answer: {reference_answer}

machine_answer: {machine_answer}

Please analyze the question, the reference answer, and the machine generated answer to determine if the machine generated answer semantically matches the reference answer.

First think through your answer inside of <thinking> tags, then assign a score between 0.0 and 5.0 based on how well the machine answer matches the reference answer. Score 5.0 means a completely match, score 0.0 means a completely mismatch. Answer the score inside of <scoring> tags.

Also provide the reason to give this score inside of <reason> tags.

Assistant: <thinking>

"""

ഇനിപ്പറയുന്ന ഉദാഹരണത്തിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ക്ലോഡ് 2 മോഡൽ ഒരു മൂല്യനിർണ്ണയ സ്‌കോറും സ്‌കോർ നൽകിയതിൻ്റെ അഭിപ്രായവും സൃഷ്ടിക്കുന്നു.

274 മൂല്യനിർണ്ണയ ചോദ്യങ്ങളിൽ, സൂപ്പർവൈസുചെയ്‌ത ഫൈൻ-ട്യൂൺഡ് മോഡൽ 159-ൽ കൂടുതൽ AI സ്‌കോറുകൾ ഉള്ള 4 പ്രതികരണങ്ങൾ സൃഷ്ടിച്ചു. 60-ൽ താഴെ സ്‌കോറുകൾ ഉള്ള 3 ഉത്തരങ്ങൾ ഞങ്ങൾ നിരീക്ഷിച്ചു; മൊത്തത്തിലുള്ള പ്രതികരണ നിലവാരം മെച്ചപ്പെടുത്താൻ ഇടമുണ്ട്.

ആമസോൺ എഞ്ചിനീയറിംഗ് SME-കൾ ഈ AI ഫീഡ്‌ബാക്ക് സാധൂകരിക്കുകയും AI സ്കോറുകൾ ഉപയോഗിക്കുന്നതിൻ്റെ നേട്ടങ്ങൾ അംഗീകരിക്കുകയും ചെയ്തു. AI ഫീഡ്‌ബാക്ക് ഇല്ലാതെ, ഓരോ LLM പ്രതികരണവും അവലോകനം ചെയ്യാനും വിശകലനം ചെയ്യാനും SME-കൾക്ക് കട്ട്-ഓഫ് ഉത്തരങ്ങളും ഭ്രമാത്മകതയും തിരിച്ചറിയാനും LLM ശരിയായ ഉള്ളടക്കങ്ങളും പ്രധാന ആശയങ്ങളും നൽകുന്നുണ്ടോ എന്ന് വിലയിരുത്താനും കുറച്ച് സമയം ആവശ്യമാണ്. AI ഫീഡ്‌ബാക്ക് AI സ്‌കോറുകൾ സ്വയമേവ നൽകുകയും സ്‌കോറുകൾ സാധൂകരിക്കാനും പ്രതികരണങ്ങളിലെ ട്രെൻഡുകൾ തിരിച്ചറിയാനും ഫിൽട്ടറിംഗ്, സോർട്ടിംഗ്, ഗ്രൂപ്പിംഗ് എന്നിവ ഉപയോഗിക്കാൻ SME-കളെ പ്രാപ്‌തമാക്കുന്നു. ഇത് SME-യുടെ ശരാശരി അവലോകന സമയം 80% കുറയ്ക്കുന്നു.

മാനുഷിക, AI ഫീഡ്‌ബാക്കിൽ നിന്ന് ശക്തിപ്പെടുത്തൽ പഠനം

പരിശീലന സാമ്പിളുകൾ തയ്യാറാകുമ്പോൾ, ഞങ്ങൾ ഉപയോഗിക്കുന്നു പ്രോക്സിമൽ പോളിസി ഒപ്റ്റിമൈസേഷൻ (പിപിഒ) അൽഗോരിതം ശക്തിപ്പെടുത്തൽ പഠനം നടത്താൻ. PPO പോളിസി ഗ്രേഡിയൻ്റ് രീതി ഉപയോഗിക്കുന്നു, ഇത് പഠന പ്രക്രിയയിൽ നയം അപ്‌ഡേറ്റ് ചെയ്യുന്നതിന് ചെറിയ ഘട്ടങ്ങൾ എടുക്കുന്നു, അതുവഴി ലേണിംഗ് ഏജൻ്റുമാർക്ക് ഒപ്റ്റിമൽ പോളിസി നെറ്റ്‌വർക്കിലേക്ക് വിശ്വസനീയമായി എത്തിച്ചേരാനാകും. ഇത് പരിശീലന പ്രക്രിയയെ കൂടുതൽ സുസ്ഥിരമാക്കുകയും വ്യതിചലനത്തിനുള്ള സാധ്യത കുറയ്ക്കുകയും ചെയ്യുന്നു.

പരിശീലന വേളയിൽ, ഒരു റിവാർഡ് മോഡൽ നിർമ്മിക്കാൻ ഞങ്ങൾ ആദ്യം ഹ്യൂമൻ, AI- ലേബൽ ചെയ്‌ത ഡാറ്റ ഉപയോഗിക്കുന്നു, അത് പഠന പ്രക്രിയയിലെ വെയ്റ്റ് അപ്‌ഡേറ്റ് ഗൈഡ് ആയി ഉപയോഗിക്കും. ഈ ഉപയോഗത്തിനായി, ഞങ്ങൾ ഒരു distilroberta-ബേസ് റിവാർഡ് മോഡൽ തിരഞ്ഞെടുത്ത് ഇനിപ്പറയുന്ന ഫോർമാറ്റിൽ സാമ്പിളുകൾ ഉപയോഗിച്ച് പരിശീലിപ്പിക്കുന്നു:

[Instruction, Chosen_response, Rejected_response]

പരിശീലന റെക്കോർഡിൻ്റെ ഒരു ഉദാഹരണമാണ് ഇനിപ്പറയുന്നത്.

റിവാർഡ് മോഡൽ പഠന നിരക്ക് 1e-5 ഉപയോഗിച്ച് പരിശീലിപ്പിച്ചിരിക്കുന്നു. ഇനിപ്പറയുന്ന ചാർട്ടിൽ കാണിച്ചിരിക്കുന്നതുപോലെ, പരിശീലനം നന്നായി 10 യുഗങ്ങൾക്ക് ശേഷം ഒത്തുചേരുന്നു.

തുടർന്ന് റിവാർഡ് മോഡൽ ശക്തിപ്പെടുത്തൽ പഠനത്തിനായി ഉപയോഗിക്കുന്നു. ഈ ഉപയോഗത്തിന്, പഠനം ത്വരിതപ്പെടുത്തുന്നതിന് ഞങ്ങൾ PEFT/LoRA ഉപയോഗിക്കുന്നു. LoRA_r 32 ഉം LoRA_alpha 64 ഉം ആണ്. PPO അടിസ്ഥാനമാക്കിയുള്ള പഠനം മൂന്ന് കാലഘട്ടങ്ങളിൽ 1.41e-5 എന്ന നിരക്കിലാണ്. ശക്തിപ്പെടുത്തൽ പരിശീലനം വളരെ അസ്ഥിരവും ലേബൽ ഡാറ്റയോടും ഫീഡ്‌ബാക്ക് ഡാറ്റയോടും വളരെ സെൻസിറ്റീവ് ആണ്. പഠന പ്രക്രിയ നിരീക്ഷിക്കാൻ റിവാർഡ് മോഡൽ പ്രത്യേകം നിരീക്ഷിക്കുന്നതിലൂടെ പരിസ്ഥിതിയിൽ നിന്ന് ലഭിക്കുന്ന ശരാശരി റിവാർഡായ reward_mean മെട്രിക് ഞങ്ങൾ ഉപയോഗിക്കുന്നു.

RLAIF-ന് ശേഷം, പോസിറ്റീവ് സ്‌കോറുകളുള്ള (3-ന് മുകളിൽ) ബോട്ട് പ്രതികരണങ്ങളുടെ എണ്ണം 78.1% ൽ നിന്ന് 85.5% ആയി വർദ്ധിക്കുന്നതും നെഗറ്റീവ് സ്‌കോറുകൾ ഉള്ളവ (3-ൽ താഴെ) 21.9% ൽ നിന്ന് 14.5% ആയി കുറയുന്നതും നമുക്ക് കാണാൻ കഴിയും. മൊത്തത്തിൽ, ശരാശരി AI ഫീഡ്ബാക്ക് സ്കോർ 8 ൽ നിന്ന് 3.9 ആയി 4.2% വരെ വർദ്ധിക്കുന്നു.

ഇനിപ്പറയുന്ന ഉദാഹരണത്തിൽ നിങ്ങൾക്ക് മെച്ചപ്പെടുത്തൽ കാണാൻ കഴിയും.

തീരുമാനം

ആമസോൺ EU ഡിസൈൻ ആൻഡ് കൺസ്ട്രക്ഷൻ ടീമുമായുള്ള ഞങ്ങളുടെ പ്രവർത്തനത്തിൻ്റെ തുടർച്ചയാണ് ഈ പോസ്റ്റ് ആമസോൺ സേജ് മേക്കറിൽ ഒരു ജനറേറ്റീവ് AI- പവർ സൊല്യൂഷൻ ആമസോൺ EU ഡിസൈനും നിർമ്മാണവും സഹായിക്കുന്നതിന്. ഈ പോസ്റ്റിൽ, മിസ്ട്രൽ-7B മോഡലിനെ റൈൻഫോഴ്‌സ്‌മെൻ്റ് ലേണിംഗ് ഉപയോഗിച്ച് മികച്ച രീതിയിൽ ട്യൂൺ ചെയ്യുന്നതിനായി ഞങ്ങൾ എങ്ങനെയാണ് ഹ്യൂമൻ, AI ഫീഡ്‌ബാക്ക് ഡാറ്റ സൃഷ്ടിച്ചതെന്ന് ഞങ്ങൾ കാണിച്ചുതന്നു. ആമസോൺ എഞ്ചിനീയറിംഗിൻ്റെ ചോദ്യത്തിന് ഉത്തരം നൽകുന്ന ബോട്ടിന് RLAIF-ന് ശേഷമുള്ള മോഡൽ മികച്ച പ്രകടനം നൽകി, AI ഫീഡ്‌ബാക്ക് സ്‌കോർ 8% മെച്ചപ്പെടുത്തി. ആമസോൺ ഡി ആൻഡ് സി ടീമിൻ്റെ പൈലറ്റ് പ്രോജക്റ്റിൽ, RLAIF ഉപയോഗിച്ച് എസ്എംഇകൾക്കുള്ള മൂല്യനിർണ്ണയ ജോലിഭാരം 80% കുറച്ചു. അടുത്ത ഘട്ടമെന്ന നിലയിൽ, ആമസോൺ എഞ്ചിനീയറിംഗിൻ്റെ ഡാറ്റാ ഇൻഫ്രാസ്ട്രക്ചറുമായി ബന്ധിപ്പിച്ച് ഞങ്ങൾ ഈ സൊല്യൂഷൻ വർധിപ്പിക്കും, കൂടാതെ ഒരു മനുഷ്യനുമായി തുടർച്ചയായ പഠന പ്രക്രിയ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനുള്ള ഒരു ചട്ടക്കൂട് രൂപകൽപ്പന ചെയ്യും. പ്രോംപ്റ്റ് ടെംപ്ലേറ്റ് ട്യൂൺ ചെയ്തുകൊണ്ട് ഞങ്ങൾ AI ഫീഡ്ബാക്ക് നിലവാരം കൂടുതൽ മെച്ചപ്പെടുത്തും.

ഈ പ്രക്രിയയിലൂടെ, RLHF, RLAIF എന്നിവയിലൂടെ ചോദ്യോത്തര ടാസ്‌ക്കുകളുടെ ഗുണനിലവാരവും പ്രകടനവും എങ്ങനെ കൂടുതൽ മെച്ചപ്പെടുത്താമെന്ന് ഞങ്ങൾ പഠിച്ചു.

• LLM-ൽ നിന്ന് കൃത്യവും ഉത്തരവാദിത്തമുള്ളതുമായ ഔട്ട്‌പുട്ടുകൾ നൽകുന്നതിന് മാനുഷിക മൂല്യനിർണ്ണയവും വർദ്ധനയും അത്യന്താപേക്ഷിതമാണ്. മോഡൽ പ്രതികരണം കൂടുതൽ മെച്ചപ്പെടുത്താൻ മനുഷ്യ ഫീഡ്‌ബാക്ക് RLHF-ൽ ഉപയോഗിക്കാം.
• RLAIF മൂല്യനിർണ്ണയവും പഠന ചക്രവും ഓട്ടോമേറ്റ് ചെയ്യുന്നു. AI- ജനറേറ്റ് ചെയ്‌ത ഫീഡ്‌ബാക്ക് കുറച്ച് ആത്മനിഷ്ഠമാണ്, കാരണം ഇത് SME-കളുടെ ഒരു ചെറിയ കൂട്ടത്തിൽ നിന്നുള്ള ഒരു പ്രത്യേക മുൻഗണനയെ ആശ്രയിക്കുന്നില്ല.
• എസ്എംഇകളിൽ നിന്ന് ആവശ്യമായ പ്രയത്‌നങ്ങൾ കുറയ്ക്കുന്നതിനിടയിൽ തുടർച്ചയായ റൈൻഫോഴ്‌സ്‌മെൻ്റ് പഠനത്തിലൂടെ ബോട്ട് ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതിന് RLAIF കൂടുതൽ സ്കെയിലബിൾ ആണ്. വലിയ സ്ഥാപനങ്ങൾക്കുള്ളിൽ ഡൊമെയ്ൻ-നിർദ്ദിഷ്ട ജനറേറ്റീവ് AI സൊല്യൂഷനുകൾ വികസിപ്പിക്കുന്നതിന് ഇത് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാണ്.
• ഈ പ്രക്രിയ പതിവായി നടത്തണം, പ്രത്യേകിച്ചും പുതിയ ഡൊമെയ്ൻ ഡാറ്റ സൊല്യൂഷനിൽ ഉൾപ്പെടുത്താൻ ലഭ്യമാകുമ്പോൾ.

ഈ ഉപയോഗ സാഹചര്യത്തിൽ, ഒന്നിലധികം LLM-കൾ പരീക്ഷിക്കുന്നതിനും ഒന്നിലധികം LLM പരിശീലന സമീപനങ്ങൾ പരീക്ഷിക്കുന്നതിനും ഞങ്ങൾ SageMaker JumpStart ഉപയോഗിച്ചു. ഇത് പരമാവധി കാര്യക്ഷമതയും ഗുണനിലവാരവും ഉപയോഗിച്ച് AI ഫീഡ്‌ബാക്കും പഠന ചക്രവും ഗണ്യമായി ത്വരിതപ്പെടുത്തുന്നു. നിങ്ങളുടെ സ്വന്തം പ്രോജക്റ്റിനായി, നിങ്ങളുടെ ഉപയോക്താക്കളുടെ ഫീഡ്‌ബാക്ക് ശേഖരിക്കുന്നതിന് നിങ്ങൾക്ക് ഹ്യൂമൻ-ഇൻ-ദി-ലൂപ്പ് സമീപനം അവതരിപ്പിക്കാം അല്ലെങ്കിൽ മറ്റൊരു LLM ഉപയോഗിച്ച് AI ഫീഡ്‌ബാക്ക് സൃഷ്‌ടിക്കാം. RLHF, RLAIF എന്നിവ ഉപയോഗിച്ച് നിങ്ങളുടെ മോഡലുകൾ മികച്ചതാക്കാൻ ഈ പോസ്റ്റിൽ നിർവചിച്ചിരിക്കുന്ന മൂന്ന്-ഘട്ട പ്രക്രിയ നിങ്ങൾക്ക് പിന്തുടരാവുന്നതാണ്. പ്രക്രിയ വേഗത്തിലാക്കാൻ SageMaker JumpStart ഉപയോഗിച്ച് രീതികൾ പരീക്ഷിക്കാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു.

എഴുത്തുകാരനെ കുറിച്ച്

യുൻഫെ ബായ് AWS-ലെ സീനിയർ സൊല്യൂഷൻ ആർക്കിടെക്റ്റാണ്. AI/ML, ഡാറ്റാ സയൻസ്, അനലിറ്റിക്‌സ് എന്നിവയുടെ പശ്ചാത്തലത്തിൽ, ബിസിനസ് ഫലങ്ങൾ നൽകുന്നതിന് AWS സേവനങ്ങൾ സ്വീകരിക്കാൻ Yunfei ഉപഭോക്താക്കളെ സഹായിക്കുന്നു. സങ്കീർണ്ണമായ സാങ്കേതിക വെല്ലുവിളികളെ അതിജീവിച്ച് തന്ത്രപരമായ ലക്ഷ്യങ്ങൾ കൈവരിക്കുന്ന AI/ML, ഡാറ്റാ അനലിറ്റിക്സ് സൊല്യൂഷനുകൾ എന്നിവ അദ്ദേഹം രൂപകൽപ്പന ചെയ്യുന്നു. യുൻഫെയ്ക്ക് ഇലക്ട്രോണിക് ആൻഡ് ഇലക്ട്രിക്കൽ എഞ്ചിനീയറിംഗിൽ പിഎച്ച്ഡി ഉണ്ട്. ജോലിക്ക് പുറത്ത്, യുൻഫെയ് വായനയും സംഗീതവും ആസ്വദിക്കുന്നു.

എലാഡ് ഡ്വെക്ക് ആമസോണിൽ കൺസ്ട്രക്ഷൻ ടെക്‌നോളജി മാനേജരാണ്. നിർമ്മാണത്തിലും പ്രൊജക്‌റ്റ് മാനേജ്‌മെന്റിലും പശ്ചാത്തലമുള്ള, നിർമ്മാണ പ്രോജക്‌റ്റുകൾ നൽകുന്നതിന് പുതിയ സാങ്കേതികവിദ്യകളും ഡാറ്റാ അധിഷ്‌ഠിത പ്രക്രിയകളും സ്വീകരിക്കാൻ എലാഡ് ടീമുകളെ സഹായിക്കുന്നു. അവൻ ആവശ്യങ്ങളും പരിഹാരങ്ങളും തിരിച്ചറിയുന്നു, കൂടാതെ ആട്രിബ്യൂട്ടുകളുടെ വികസനം സുഗമമാക്കുന്നു. എലാദിന് എംബിഎയും സ്ട്രക്ചറൽ എഞ്ചിനീയറിംഗിൽ ബിഎസ്‌സിയും ഉണ്ട്. ജോലിക്ക് പുറത്ത്, എലാദ് യോഗ, മരപ്പണി, കുടുംബത്തോടൊപ്പം യാത്ര എന്നിവ ആസ്വദിക്കുന്നു.

ലൂക്കാ സെറബോൺ ആമസോണിൽ ബിസിനസ് ഇൻ്റലിജൻസ് എഞ്ചിനീയറാണ്. ഡാറ്റാ സയൻസിലും അനലിറ്റിക്‌സിലുമുള്ള തൻ്റെ പശ്ചാത്തലത്തിൽ നിന്ന് വരച്ചുകൊണ്ട്, ലൂക്ക ക്രാഫ്റ്റ്‌സ് തൻ്റെ ഉപഭോക്താക്കളുടെ അതുല്യമായ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിനായി സാങ്കേതിക പരിഹാരങ്ങൾ തയ്യാറാക്കി, അവരെ കൂടുതൽ സുസ്ഥിരവും അളക്കാവുന്നതുമായ പ്രക്രിയകളിലേക്ക് നയിക്കുന്നു. ഡാറ്റാ സയൻസിൽ എംഎസ്‌സി നേടിയ ലൂക്ക, തൻ്റെ ഒഴിവുസമയങ്ങളിൽ DIY പ്രോജക്‌റ്റുകളിൽ ഏർപ്പെടാനും പൂന്തോട്ടപരിപാലനം നടത്താനും പാചക ആനന്ദങ്ങൾ പരീക്ഷിക്കാനും ഇഷ്ടപ്പെടുന്നു.

• SEO പവർ ചെയ്ത ഉള്ളടക്കവും PR വിതരണവും. ഇന്ന് ആംപ്ലിഫൈഡ് നേടുക.
• PlatoData.Network ലംബ ജനറേറ്റീവ് Ai. സ്വയം ശാക്തീകരിക്കുക. ഇവിടെ പ്രവേശിക്കുക.
• PlatoAiStream. Web3 ഇന്റലിജൻസ്. വിജ്ഞാനം വർധിപ്പിച്ചു. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോഇഎസ്ജി. കാർബൺ, ക്ലീൻ ടെക്, ഊർജ്ജം, പരിസ്ഥിതി, സോളാർ, മാലിന്യ സംസ്കരണം. ഇവിടെ പ്രവേശിക്കുക.
• പ്ലേറ്റോ ഹെൽത്ത്. ബയോടെക് ആൻഡ് ക്ലിനിക്കൽ ട്രയൽസ് ഇന്റലിജൻസ്. ഇവിടെ പ്രവേശിക്കുക.
• അവലംബം: https://aws.amazon.com/blogs/machine-learning/improve-llm-performance-with-human-and-ai-feedback-on-amazon-sagemaker-for-amazon-engineering/