Тройное адаптивное выравнивание И V2 поставляет систему коррекции трубопровода: The Doctors — 496 кросс-слойных тройных ветвей низкого ранга, которые ездят рядом с замороженными весами и отменяют распространенную ошибку квантования. Недоумение Wikitext (c512, 274 фрагмента, идентичные двоичные/ядра/текст): 1,75-битный файл представляет собой перепаковку без потерь 2,125-битного — те же троичные состояния, те же масштабы байт за байт, просто более жесткая система счисления (пять тритов на байт вместо четырех 2-разрядных кодов). Проверено полным декодированием каждого блока плюс равенство недоумения выше. Оба используют одни и те же адаптеры Doctors — коррекции не имеют значения, в каком контейнере живут веса. Запустите V1 на процессоре (тройные ядра AVX2; ~3 т/с на 12-поточном Ryzen 3600, 27B в ~8 ГБ ОЗУ): Запустите V2 на графическом процессоре (объединенный тройной кэш GEMV; 5,9 ГБ весов): небольшой графический процессор (например, 6–8 ГБ)? Держите вес FFN в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: CodeMasterCody3D
Теги: gguf, ternary, quantization, integer, llama.cpp, taardis, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 256,778
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
