Apple оголосила про співпрацю з NVIDIA, лідером у сфері виробництва відеочіпів, щоб підвищити ефективність роботи великих мовних моделей (LLM). Використовуючи нову технологію генерації тексту, компанія планує значно збільшити швидкість роботи ШІ-застосунків.
Деталі співпраці
На початку року Apple оприлюднила вихідний код Recurrent Drafter (ReDrafter) — інноваційного підходу, що поєднує променевий пошук і динамічне розгалуження для прискорення текстової генерації. Променевий пошук аналізує кілька можливих текстових варіантів, а динамічне розгалуження усуває зайві перетини між ними, підвищуючи продуктивність.
Наразі Apple інтегрувала ReDrafter у фреймворк NVIDIA TensorRT-LLM, який оптимізує великі мовні моделі на графічних процесорах NVIDIA. Компанія вже досягла вражаючих результатів: швидкість генерації токенів зросла у 2,7 раза під час тестування моделі з десятками мільярдів параметрів. Це покращення не лише скорочує затримки для користувачів, але й знижує навантаження на графічний процесор і енергоспоживання.
Значення для користувачів
Для звичайних користувачів це означає швидшу та більш ефективну роботу ШІ-функцій на пристроях Apple, таких як iPhone 15 Pro. Без оптимізації великі мовні моделі можуть спричиняти сильне нагрівання пристроїв і тривалий час обробки, особливо під час генерації контенту чи роботи з Apple Intelligence.
Джерело: itechua.com