För att hjälpa organisationer att skala sin AI-användning utan att överdriva sina budgetar har vi lagt till två nya sätt att minska kostnaderna på konsekventa och asynkrona arbetsbelastningar:

• Rabatterad användning på engagerad genomströmning: Kunder med en uthållig nivå av tokens per minute (TPM)-användning på GPT-4 eller GPT-4 Turbo kan begära tillgång till provisionerad genomströmning för att få rabatter från 10–50 % baserat på åtagandets storlek.
• Minskade kostnader för asynkrona arbetsbelastningar: Kunder kan använda vår nya Batch API att köra icke-brådskande arbetsbelastningar asynkront. Batch API-förfrågningar är prissatta till 50 % rabatt på delade priser, erbjuder mycket högre hastighetsgränser och ger resultat inom 24 timmar. Detta är idealiskt för användningsfall som modellutvärdering, offlineklassificering, sammanfattning och generering av syntetisk data.

Vi planerar att fortsätta lägga till nya funktioner fokuserade på företagssäkerhet, administrativa kontroller och kostnadshantering. För mer information om dessa lanseringar, besök vår API dokumentation or komma i kontakt med vårt team för att diskutera anpassade lösningar för ditt företag.