Оскільки змагання за перевагу штучного інтелекту тривають, Microsoft тепер хоче перетворити портрети людей на розмовляючі обличчя або відео за допомогою свого останнього інструменту VASA-1.
Згідно з дослідницькою роботою технічного гіганта, Microsoft виводить гонку ШІ на новий рівень, з ВАСА 1, структура для створення реалістичних розмовних облич віртуальних персонажів із візуальними афективними навичками (VAS), усе з портрета.
Читайте також: Індустрія відеоігор поспішає об'єднатися проти ШІ
Від портретів до розмовних облич
Незважаючи на те, що він ще не доступний для громадськості, інструмент робить одну портретну фотографію та аудіомовлення та створює гіперреалістичне відео розмовного обличчя з точною синхронізацією аудіо губ, реалістичною поведінкою обличчя та натуралістичними рухами голови, які генеруються в режимі реального часу.
Інструмент все ще перебуває на стадії попереднього перегляду спільно з командою Microsoft Research, і демонстраційні відео «виглядають вражаюче».
Незважаючи на те, що такі компанії, як Nvidia та Runway, уже мають схожу технологію руху голови та синхронізації губ, VASA-1, здається, «набагато вищої якості та реалістичності», що зменшує артефакти рота, відповідно до Керівництво Тома.
Крім того, цей підхід до анімації на основі звуку також схожий на нещодавній Vlogger AI модель Google Research.
За словами Microsoft, хоча всі зображення в демонстраційних прикладах є синтетичними, створеними Dall-E, VASA-1 все ще може анімувати реальне зображення.
Демонстрація показує, як різні люди розмовляють майже природними рухами, виразом обличчя, рухами очей «без артефактів у верхній і нижній частині рота, які можна побачити в інших інструментах».
Для роботи також не потрібне портретне зображення обличчям вперед.
Microsoft щойно представила VASA-1.
Це нова модель штучного інтелекту, яка може перетворити 1 фотографію та 1 аудіозапис на повністю реалістичний дипфейк людини.
Дико відмовитися від цього прямо перед виборами 😬pic.twitter.com/MuLkZVOKRM
— Rowan Cheung (@rowancheung) Квітень 18, 2024
ВАСА-1 змусила людей заговорити
Вже ентузіасти ШІ, здається, вражені технологією, описуючи її як «дику» та «божевільну» на платформі X.
«Покращення, які ми отримуємо між кожним випуском, неймовірні», сказав Лінус Екенстам.
Інші вважають, що світ спостерігає «сейсмічні зміни у способах створення медіаконтенту» та способах його споживання.
«Це приголомшливо, реалістичність на найвищому рівні», — сказав інший ентузіаст, названий Семом.
Хоча інші визнають можливості інструменту, вони також вважають, що з боку Microsoft є дещо безвідповідальним запровадження інструменту, яким можна легко маніпулювати для виборчі дипфейки.
«Дико відмовитися від цього прямо перед виборами» пише Rowan Cheung на платформі X.
Інший користувач Еван Кірстел прокоментував із суворим попередженням: «VASA-1 Microsoft Research змінює правила гри, створюючи гіперреалістичні відео, згенеровані ШІ, лише з фотографії та аудіо».
«Можливості безмежні, від відродження легенд класичного кіно до персоналізованих медіа. Але давайте будемо уважні до ризиків deepfake».
У світі вже спостерігається потік виборчих дипфейків, де голосами чи зображеннями політиків маніпулюють за допомогою ШІ для поширення пропаганди. Близько третини населення планети прийде на вибори цього року.
Однак дослідники Microsoft зазначили, що це лише для демонстрації, і наразі немає планів щодо публічного випуску чи надання його доступності розробникам.
Як працює ВАСА-1?
Згідно з Tom's Guide, дослідники самі здивовані здатністю моделі «ідеально синхронізувати губи з піснею, без проблем відображаючи слова співака, незважаючи на те, що музика не використовується в навчальному наборі даних».
Крім того, VASA-1 обробляв різні стилі зображення, включаючи історичні портрети, такі як відомі Мона Ліза.
Інструмент можна використовувати в іграх на фоні його передових можливостей синхронізації губ. За словами експертів, це може змінити правила гри для занурення.
Крім того, технологія може бути корисною для створення аватарів для відео в соціальних мережах, як у випадку з такими компаніями, як Synthesia і HeyGen.
Фільми та музичні відео на основі ШІ також можуть використовувати технологію VASA-1 для більш реалістичних відео.
Існують шанси, що завдяки частці Microsoft в OpenAI VASA-1 може стати частиною «майбутнього копілота». Сора інтеграція».
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://metanews.com/enthusiasts-smitten-by-image-to-video-tool-vasa-1/
