Щоб допомогти організаціям масштабувати використання штучного інтелекту без надмірного збільшення бюджету, ми додали два нові способи зниження витрат на послідовні та асинхронні робочі навантаження:

• Використання зі знижкою на встановлену пропускну здатність: Клієнти з постійним рівнем використання токенів за хвилину (TPM) на GPT-4 або GPT-4 Turbo можуть запросити доступ до наданої пропускної здатності, щоб отримати знижки в діапазоні від 10 до 50% залежно від розміру зобов’язання.
• Зниження витрат на асинхронні навантаження: Клієнти можуть використовувати наш новий Пакетний API для виконання нетермінових робочих навантажень асинхронно. Пакетні запити API мають 50% знижку на загальні ціни, пропонують значно вищі обмеження кількості та повертають результати протягом 24 годин. Це ідеально підходить для таких випадків використання, як оцінка моделі, офлайн-класифікація, узагальнення та генерація синтетичних даних.

Ми плануємо продовжувати додавати нові функції, зосереджені на безпеці корпоративного рівня, адміністративному контролі та управлінні витратами. Щоб дізнатися більше про ці запуски, відвідайте наш Документація API or зв'яжіться з нашою командою обговорити індивідуальні рішення для вашого підприємства.