n00nehere/recursive-bitnet-ngram-102M-64K-instruct-preview - Каталог нейросетей
Генерация текста

n00nehere/recursive-bitnet-ngram-102M-64K-instruct-preview

Добавлено:
n00nehere/recursive-bitnet-ngram-102M-64K-instruct-preview

Экспериментальная языковая модель, состоящая только из 102 282 456-параметрового декодера, с троичными битлинейными весами, рекурсивными блоками трансформаторов и каузальными хешированными n-граммовыми вложениями. Шесть сохраненных блоков повторно используются для двух проходов, что дает двенадцать эффективных приложений блоков. Самый длинный тренировочный контекст — 65 536 токенов. Этот выпуск содержит этап 35 882, выбранный наименьшим пересчитанным удержанным убытком среди десяти замороженных контрольных точек. Он сохраняет обученную настройку: два рекурсивных прохода и включенные функции токена 2-, 3- и 4-грамм. Он обработал 4 703 125 504 входных токена, включая повторные посещения корпуса. Его средний первичный балл по семи полным публичным разделениям тестов составляет 40,59% с эталонной средой выполнения FP32-master/BF16-activation. Модель была обучена с нуля, а затем продолжила работу над смесью учебного текста, ответов помощников, кода, структурированного парсинга, примеров инструментов и задач синтетической памяти. Инструкция описывает, что тренировочная смесь; измеренная надежность следования инструкциям ограничена. Предоставляются как точный основной экспорт FP32, так и компактный упакованный тройной экспорт с инструкциями по загрузке и отдельными записями о проверке ниже. Рекуррентные вычисления применяют полный стек…

Модальности:
Генерация текста

Области применения:
Следование инструкциям


Задача: Генерация текста
Автор: n00nehere
Теги: bitnet_recursive_ngram, bitnet, recursive-transformer, ngram, ternary, packed-ternary, experimental, custom-code
Лайков: 3  |  Загрузок: 226

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.