Dit bericht is mede geschreven door Jackie Rocca, VP Product, AI bij Slack

In Slack wordt gewerkt. Het is het AI-aangedreven platform voor werk dat mensen, gesprekken, apps en systemen op één plek met elkaar verbindt. Met de nieuw gelanceerde Slappe AI– een vertrouwde, native, generatieve kunstmatige intelligentie (AI)-ervaring die rechtstreeks in Slack beschikbaar is – gebruikers kunnen informatie naar boven halen en prioriteren, zodat ze hun focus kunnen vinden en hun meest productieve werk kunnen doen.

We zijn verheugd om aan te kondigen dat Slack, een Salesforce-bedrijf, heeft samengewerkt met Amazon SageMaker JumpStart om de initiële zoek- en samenvattingsfuncties van Slack AI aan te drijven en waarborgen te bieden voor Slack om grote taalmodellen (LLM's) veiliger te gebruiken. Slack werkte samen met SageMaker JumpStart om toonaangevende LLM's van derden te hosten, zodat gegevens niet worden gedeeld met de infrastructuur die eigendom is van externe modelaanbieders.

Hierdoor blijven klantgegevens te allen tijde in Slack en worden dezelfde beveiligingspraktijken en nalevingsnormen gehandhaafd die klanten van Slack zelf verwachten. Slack maakt ook gebruik van Amazon Sage Maker inferentiemogelijkheden voor geavanceerde routeringsstrategieën om de oplossing naar klanten te schalen met optimale prestaties, latentie en doorvoer.

“Met Amazon SageMaker JumpStart heeft Slack toegang tot de modernste basismodellen om Slack AI aan te sturen, terwijl veiligheid en privacy voorop staan. Slack-klanten kunnen nu slimmer zoeken, gesprekken direct samenvatten en het meest productief zijn.”

– Jackie Rocca, VP Product, AI bij Slack

Funderingsmodellen in SageMaker JumpStart

SageMaker JumpStart is een machine learning (ML)-hub die u kan helpen uw ML-traject te versnellen. Met SageMaker JumpStart kunt u snel funderingsmodellen (FM's) evalueren, vergelijken en selecteren op basis van vooraf gedefinieerde kwaliteits- en verantwoordelijkheidsgegevens om taken uit te voeren zoals het samenvatten van artikelen en het genereren van afbeeldingen. Vooraf getrainde modellen kunnen volledig worden aangepast aan uw gebruiksscenario met uw gegevens, en u kunt ze moeiteloos in productie implementeren met de gebruikersinterface of SDK. Bovendien heeft u toegang tot kant-en-klare oplossingen om veelvoorkomende gebruiksscenario's op te lossen en kunt u ML-artefacten, waaronder ML-modellen en notebooks, binnen uw organisatie delen om het bouwen en implementeren van ML-modellen te versnellen. Geen van uw gegevens wordt gebruikt om de onderliggende modellen te trainen. Alle gegevens zijn gecodeerd en worden nooit gedeeld met externe leveranciers, zodat u erop kunt vertrouwen dat uw gegevens privé en vertrouwelijk blijven.

Check out de SageMaker JumpStart-modelpagina voor beschikbare modellen.

Slappe AI

Slack lanceerde Slack AI om native generatieve AI-mogelijkheden te bieden, zodat klanten gemakkelijk grote hoeveelheden informatie snel kunnen vinden en consumeren, waardoor ze nog meer waarde kunnen halen uit hun gedeelde kennis in Slack. Gebruikers kunnen bijvoorbeeld een vraag in duidelijke taal stellen en direct duidelijke en beknopte antwoorden krijgen dankzij de verbeterde zoekfunctie. Ze kunnen met één klik kanalen en discussies volgen met gesprekssamenvattingen. En ze hebben toegang tot gepersonaliseerde, dagelijkse overzichten van wat er op geselecteerde kanalen gebeurt met de onlangs gelanceerde samenvattingen.

Omdat vertrouwen de belangrijkste waarde van Slack is, draait Slack AI op een infrastructuur van ondernemingskwaliteit die ze op AWS hebben gebouwd, en handhaaft hetzelfde beveiligingspraktijken en nalevingsnormen die klanten verwachten. Slack AI is gebouwd voor veiligheidsbewuste klanten en is ontworpen om door het ontwerp veilig te zijn: klantgegevens blijven intern, gegevens worden niet gebruikt voor LLM-trainingsdoeleinden en gegevens blijven in silo's.

Overzicht oplossingen

SageMaker JumpStart biedt toegang tot veel LLM's en Slack selecteert de juiste FM's die bij hun gebruiksscenario's passen. Omdat deze modellen worden gehost op de AWS-infrastructuur van Slack, verlaten de gegevens die tijdens de aanroep naar de modellen worden verzonden de AWS-infrastructuur van Slack niet. Om een ​​veilige oplossing te bieden, worden de gegevens die worden verzonden voor het aanroepen van SageMaker-modellen bovendien tijdens de overdracht gecodeerd. De gegevens die naar SageMaker JumpStart-eindpunten worden verzonden voor het aanroepen van modellen, worden niet gebruikt om basismodellen te trainen. Met SageMaker JumpStart kan Slack hoge normen voor beveiliging en gegevensprivacy ondersteunen, terwijl ook gebruik wordt gemaakt van de modernste modellen die Slack AI helpen optimaal te presteren voor Slack-klanten.

SageMaker JumpStart-eindpunten die Slack-bedrijfsapplicaties bedienen, worden mogelijk gemaakt door AWS-instanties. SageMaker ondersteunt a breed scala aan instantietypen voor modelimplementatie, waardoor Slack de instantie kan kiezen die het meest geschikt is om de latentie- en schaalbaarheidsvereisten van Slack AI-gebruiksscenario's te ondersteunen. Slack AI heeft toegang tot op meerdere GPU's gebaseerde instanties om hun SageMaker JumpStart-modellen te hosten. Met meerdere GPU-instanties kan elke instantie die het eindpunt van Slack AI ondersteunt, meerdere exemplaren van een model hosten. Dit helpt het gebruik van resources te verbeteren en de implementatiekosten van modellen te verlagen. Voor meer informatie, zie Amazon SageMaker voegt nieuwe inferentiemogelijkheden toe om de implementatiekosten en latentie van het basismodel te helpen verminderen.

Het volgende diagram illustreert de oplossingsarchitectuur.

Om de instances zo effectief mogelijk te gebruiken en de gelijktijdigheids- en latentievereisten te ondersteunen, gebruikte Slack door SageMaker aangeboden routeringsstrategieën met hun SageMaker-eindpunten. Standaard distribueert een SageMaker-eindpunt binnenkomende verzoeken uniform naar ML-instanties met behulp van een round-robin-algoritmerouteringsstrategie genaamd RANDOM. Met generatieve AI-workloads kunnen verzoeken en antwoorden echter extreem variabel zijn, en het is wenselijk om de belasting te verdelen door rekening te houden met de capaciteit en het gebruik van de instantie in plaats van willekeurige taakverdeling. Om verzoeken effectief te verdelen over instanties die de eindpunten ondersteunen, gebruikt Slack de LEAST_OUTSTANDING_REQUESTS (LAR) routeringsstrategie. Deze strategie stuurt verzoeken door naar de specifieke instanties die meer capaciteit hebben om verzoeken te verwerken, in plaats van willekeurig een beschikbaar exemplaar te kiezen. De LAR-strategie zorgt voor een meer uniforme taakverdeling en resourcegebruik. Als gevolg hiervan merkte Slack AI een latentiedaling van meer dan 39% op in hun p95-latentiegetallen bij het inschakelen LEAST_OUTSTANDING_REQUESTS vergeleken met RANDOM.

Voor meer details over SageMaker-routeringsstrategieën, zie Minimaliseer de latentie van realtime gevolgtrekkingen door gebruik te maken van Amazon SageMaker-routeringsstrategieën.

Conclusie

Slack levert native generatieve AI-mogelijkheden die hun klanten zullen helpen productiever te zijn en gemakkelijk gebruik te kunnen maken van de collectieve kennis die is ingebed in hun Slack-gesprekken. Met snelle toegang tot een grote selectie FM's en geavanceerde load-balancing-mogelijkheden die worden gehost in speciale instances via SageMaker JumpStart, kan Slack AI op een robuustere en snellere manier rijke generatieve AI-functies bieden, terwijl de vertrouwens- en beveiligingsnormen van Slack worden gehandhaafd.

Lees verder over SageMaker JumpStart, Slappe AI en hoe het Slack-team Slack AI heeft gebouwd om veilig en privé te zijn. Laat uw mening en vragen achter in het opmerkingengedeelte.

---

Over de auteurs

Jackie Rocca is VP Product bij Slack, waar ze toezicht houdt op de visie en uitvoering van Slack AI, die generatieve AI native en veilig in de gebruikerservaring van Slack brengt. Nu heeft ze een missie om klanten te helpen hun productiviteit te verhogen en nog meer waarde te halen uit hun gesprekken, gegevens en collectieve kennis met generatieve AI. Voorafgaand aan haar tijd bij Slack was Jackie ruim zes jaar productmanager bij Google, waar ze hielp bij het lanceren en laten groeien van YouTube TV. Jackie is gevestigd in de San Francisco Bay Area.

Rachna Chadha is een Principal Solutions Architect AI/ML in Strategic Accounts bij AWS. Rachna is een optimist die gelooft dat het ethische en verantwoorde gebruik van AI de samenleving in de toekomst kan verbeteren en economische en sociale welvaart kan brengen. In haar vrije tijd brengt Rachna graag tijd door met haar gezin, wandelen en naar muziek luisteren.

Marc Karp is een ML-architect bij het Amazon SageMaker Service-team. Hij richt zich op het helpen van klanten bij het ontwerpen, implementeren en beheren van ML-workloads op schaal. In zijn vrije tijd houdt hij van reizen en nieuwe plekken ontdekken.

Maninder (Mani) Kaur is de AI/ML Specialist lead voor Strategic ISV's bij AWS. Met haar klantgerichte benadering helpt Mani strategische klanten hun AI/ML-strategie vorm te geven, innovatie aan te wakkeren en hun AI/ML-reis te versnellen. Mani is een groot voorstander van ethische en verantwoorde AI en streeft ernaar ervoor te zorgen dat de AI-oplossingen van haar klanten aansluiten bij deze principes.

Gen Ting is een Principal Solutions Architect bij AWS. Hij richt zich op het helpen van zakelijke klanten bij het veilig bouwen en uitvoeren van workloads op AWS. In zijn vrije tijd geeft Gene graag les aan kinderen in technologie en sport, en volgt hij graag de laatste ontwikkelingen op het gebied van cyberbeveiliging.

Alan Tan is Senior Product Manager bij SageMaker en leidt inspanningen op het gebied van grote modelinferentie. Hij heeft een passie voor het toepassen van machine learning op het gebied van analytics. Buiten zijn werk geniet hij van het buitenleven.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/slack-delivers-native-and-secure-generative-ai-powered-by-amazon-sagemaker-jumpstart/