Nafie-473M — это компактная модель турецкого причинного языка, основанная на специальной архитектуре Transformer, предназначенной только для декодера. Он был разработан с целью разработки в Турции и оценен на турецких тестовых заданиях, включая пакет тестов CETVEL. Модель в основном предназначена для генерации текста на турецком языке, экспериментов с выполнением инструкций, контролируемых исследований по точной настройке и контролируемых локальных выводов или выводов Colab. В модели используется специальная архитектура, а не стандартная архитектура LLaMA, GPT-2, Mistral или аналогичная встроенная архитектура Transformers. Он упаковывается для Hugging Face с помощью пользовательского кода модели и поддерживает загрузку с помощью AutoModelForCausalLM. Поскольку Nafie-473M использует код специальной архитектуры, его необходимо загрузить с параметромtrustremotecode=True. Архитектура включает в себя RMSNorm, поворотно-позиционные встраивания в стиле RoPE, блоки прямой связи в стиле SwiGLU и связанные встраивания ввода/вывода. Nafie-473M был разработан совместно с контролируемым Турцией набором данных точной настройки, содержащим пары быстрого реагирования. Набор данных предназначен для турецких обучающих экспериментов в стиле SFT, следования инструкциям и оперативного реагирования. Численные расчеты, представленные в этой статье, были полностью выполнены в ТУБИТАК УЛАКБИМ,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nafie-ai
Теги: nafie, turkish, causal-lm, custom-code, llm, sft, custom_code, tr
Лайков: 5 | Загрузок: 115
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
