Thinking Machines Lab випустила Inkling 2 Mini, невелику, потужну модель, розроблену для роботи на ноутбуках та іншому локальному обладнанні, що відмінно справляється з агентськими завданнями кодування.
Коротко
Inkling 2 Mini - це нова модель від Thinking Machines Lab. Вона розроблена бути швидкою та потужною, при цьому достатньо малою для роботи на ноутбуці. Модель використовує архітектуру циклічного трансформера для покращення міркувань та ефективності.
Ключові факти
- Розробник: Thinking Machines Lab
- Що нового: Архітектура циклічного трансформера для покращення міркувань та ефективності
- Доступ: Доступно на Tinker та Hugging Face
- Ліцензія: Відкриті ваги
- Розмір: 26.4B загальних параметрів, ~20GB пам'яті
- Контекст: Працює офлайн на споживчих ноутбуках та настільних AI-комп'ютерах
- Бенчмарк: DeepSWE v1.1 (48.2%), Vals Index v2.2 (46.5%)
Що це?
Inkling 2 Mini - це швидка та потужна модель ШІ від Thinking Machines Lab. Вона розроблена бути достатньо малою для роботи на локальних пристроях, таких як ноутбуки. Модель використовує архітектуру циклічного трансформера, що означає, що її середні шари виконуються кілька разів для кожного токена.
Як це працює?
Конструкція циклічного трансформера дозволяє Inkling 2 Mini застосовувати більше міркувань з меншою кількістю токенів. Це допомагає їй ефективніше досягати правильних відповідей, особливо для таких завдань, як агентське кодування. Ваги моделі розгортаються з точністю NVFP4 та MXFP8, що сприяє її невеликому обсягу пам'яті.
Чому це важливо?
Inkling 2 Mini пропонує високу продуктивність для свого розміру, очолюючи моделі з відкритими вагами до 100B параметрів за ключовими бенчмарками. Її здатність працювати на локальному обладнанні робить її придатною для постійних агентів та офлайн-використання. Циклічна архітектура також покращує моніторинг, дозволяючи краще контролювати міркування моделі.
Для кого?
Розробники, дослідники та користувачі, яким потрібна потужна модель ШІ, що може ефективно працювати на локальному обладнанні для таких завдань, як агентське кодування та робота зі знаннями.
Як спробувати
Доступно на Tinker та Hugging Face
Часті запитання
Що таке Inkling 2 Mini?
Inkling 2 Mini - це швидка, потужна модель ШІ, випущена Thinking Machines Lab. Вона розроблена бути достатньо малою для роботи на споживчих ноутбуках та настільних AI-комп'ютерах. Модель використовує архітектуру циклічного трансформера для покращення своїх можливостей міркування.
Як Inkling 2 Mini покращує міркування?
Inkling 2 Mini покращує міркування завдяки своїй архітектурі циклічного трансформера. Середні шари моделі виконуються тричі для кожного токена, дозволяючи їй застосовувати більше обчислень внутрішньо. Ця конструкція допомагає моделі досягати точних відповідей з меншою кількістю токенів, особливо для завдань, що вимагають високої якості міркувань.
Чи може Inkling 2 Mini працювати офлайн?
Так, Inkling 2 Mini розроблена для роботи на локальних пристроях, таких як споживчі ноутбуки та настільні AI-комп'ютери. Вона має загальний обсяг пам'яті приблизно 20GB, що робить її придатною для офлайн-роботи. Було продемонстровано її роботу офлайн на MacBook Pro.
Які сильні сторони Inkling 2 Mini?
Inkling 2 Mini відмінно справляється з довгостроковою агентською роботою та бенчмарками агентського кодування, такими як DeepSWE v1.1 та SWE-bench Pro v2. Вона також добре працює на бенчмарках роботи зі знаннями, що включають пошук та використання інструментів. Її ефективність та продуктивність роблять її сильним вибором для запуску кількох постійних агентів на локальному обладнанні.
Джерела
Стежте за такими новинами автоматично
RAI AI сам відстежує новини, X, Telegram і Reddit за вашими темами та надсилає коротке ШІ-зведення в застосунок, на пошту або в Telegram. Спробуйте RAI AI 7 днів безкоштовно