Susono-10B-A1B-Instruct — это следующая за инструкцией модель, созданная после обучения Susono-10B-A1B-Base с SFT и DPO. Это LLM с оригинальной архитектурой с 10B общими параметрами и около 1B активными параметрами на маркер (A1B), интегрирующий Engram (модуль условной памяти) и mHC-lite (Manifold-Constrained Hyper-Connections Lite) в гибридную магистраль Full Attention GatedDeltaNet MoE. Обучение проводилось на суперчипе NVIDIA GH200 Grace Hopper. Выделенные слитые ядра были реализованы для Engram и mHC-lite, а обучение было оптимизировано с помощью разгрузки обучающего процессора FP8 с использованием архитектуры графического процессора GH200. Обратите внимание, что эта модель была разработана исключительно как личный хобби-проект и финансировалась в частном порядке. Стоимость разработки составила всего около 1875 долларов США (примерно 300 000 иен), поэтому имейте в виду, что предварительная подготовка и пост-обучение не были проведены в достаточной степени. > ⚠️ Это модель инструктажа после обучения для чата и следования инструкциям. Примените шаблон чата при формировании ответов. > Мы не несем ответственности за результаты моделирования. Используйте его на свой страх и риск. Справочные документы: — Engram: arXiv:2601.07372v1 «Условная память через масштабируемую…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: puwaer
Теги: susono, conversational, en, ja, endpoints_compatible
Лайков: 3 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
