Speck1.1-140M-Instruct is a 140.7M parameter English instruction-tuned language model. It was initialized from Speck1-140M, a hybrid model that interleaves global grouped-query attention with gated causal convolution, then fully fine-tuned for one epoch on the 500,000-conversation SpeckChat2 mixture. The 1.1 release updates the instruction-tuning data and post-training run; the base architecture is unchanged. Модель использует нативный шаблон чата с необязательными системными сообщениями и была обучена с потерей только помощника. Архитектура не изменилась по сравнению с Speck1-140M, за исключением 3 добавленных вложений ролевых токенов. Он содержит 18 остаточных блоков: 8 глобальных каузальных сверток внимания 10, каждая с последующей подачей SwiGLU. Вложения ввода/вывода (шириной 640) связаны и подключаются к остаточному потоку шириной 768 через изученные проекции. Системное сообщение является необязательным и может появиться только первым. Остальные роли должны чередоваться между пользователем и помощником. Системная подсказка по умолчанию не вводится. Во время генерации подсказка заканчивается после n и завершает ответ. Speck1.1-140M-Instruct работает с классами Transformers Auto через встроенную пользовательскую модель и код токенизатора.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: specklabs
Теги: speck, causal-lm, instruction-tuned, chat, hybrid, grouped-query-attention, causal-convolution, custom_code
Лайков: 3 | Загрузок: 74
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
