Hugging Face представляє метод вбудовування детермінованих обчислень безпосередньо в попередньо навчені мовні моделі, покращуючи арифметичну точність без додаткового навчання.
Коротко
Hugging Face розробила спосіб, що дозволяє мовним моделям надійно виконувати точні багаторозрядні арифметичні обчислення. Цей метод компілює детерміновані обчислення безпосередньо у ваги моделі. Він не вимагає тонкого налаштування градієнтів або зовнішніх інструментів.
Ключові факти
- Розробник: Hugging Face
- Що нового: Вбудовування схем з нульовим градієнтом для детермінованих обчислень у LLM
- Еталон: 99.17% та 100.00% точність ALU-prefix для 6-розрядних арифметичних обчислень
- Еталон: 100% для 3-літерних булевих та 5-бітних Majority/Parity схем
- Доступ: Поки що публічно недоступно
Що це?
Це новий метод, який дозволяє попередньо навченим мовним моделям виконувати точні багаторозрядні арифметичні обчислення. Він вбудовує детерміновані обчислення безпосередньо у ваги моделі. Це відбувається без потреби в додатковому навчанні або зовнішніх інструментах.
Як це працює?
Метод використовує три аналітичні механізми. До них відносяться квадратура Mellin-GLU, крос-токенна компенсація масштабу та розширення ширини, вирівняне по осі. Автоматизований 5-етапний компілятор синтезує схеми для арифметичних та булевих операцій.
Чому це важливо?
Мовні моделі часто мають труднощі з точними арифметичними обчисленнями. Цей підхід робить їх надійними для таких завдань. Він значно покращує їхню точність порівняно з традиційними методами тонкого налаштування. Він також зберігає їхні здібності до обробки природної мови.
Для кого?
Дослідники та розробники, які працюють з великими мовними моделями та потребують покращених арифметичних можливостей.
Як спробувати
Поки недоступно
Часті запитання
Як цей метод покращує арифметичні обчислення в LLM?
Він безпосередньо компілює детерміновані обчислення у ваги попередньо навченої мовної моделі. Це робиться без використання прикладів навчання та без хуків під час виконання. Він використовує специфічні аналітичні механізми для досягнення високої точності в арифметичних завданнях.
Чи вимагає цей метод тонкого налаштування?
Ні, він не вимагає тонкого налаштування градієнтів. Він використовує примітиви вбудовування схем з нульовим градієнтом у закритій формі. Це означає, що він працює без додаткових даних або процесів навчання.
Які арифметичні операції він може виконувати?
Він може синтезувати схеми для 4-8-розрядного додавання, віднімання та множення зі знаком. Він також обробляє 3-літерні булеві та 5-бітні Majority/Parity схеми зі 100% точністю.
Джерела
Стежте за такими новинами автоматично
RAI AI сам відстежує новини, X, Telegram і Reddit за вашими темами та надсилає коротке ШІ-зведення в застосунок, на пошту або в Telegram. Спробуйте RAI AI 7 днів безкоштовно