Мы представляем Meltemi 7B Instruct v1.5 Large Language Model (LLM), новую улучшенную версию Meltemi 7B v1.5 с точными настройками инструкций. — Расширение словарного запаса токенизатора Mistral 7b греческими токенами для снижения затрат и более быстрого вывода (1,52 против 6,80 токенов на слово для греческого языка) — Длина контекста 8192 — Точная настройка была выполнена с помощью алгоритма оптимизации соотношения шансов (ORPO) с использованием 97 тыс. данных о предпочтениях: 89 730 данных о предпочтениях на греческом языке, которые в основном представляют собой переведенные версии высококачественных наборов данных на Hugging Face 7342 данных о предпочтениях на английском языке. Наша процедура согласования основана на библиотеке TRL — Transformer Reinforcement Learning и частично на рецептах тонкой настройки Hugging Face. Формат подсказки такой же, как формат Zephyr, и может использоваться с помощью функций шаблона чата токенизатора следующим образом: Убедитесь, что токен BOS всегда включен в токенизированные подсказки. Возможно, это не настройка по умолчанию во всех средах оценки или тонкой настройки. Созданный нами оценочный набор включает 6 наборов тестов и реализован на основе разветвления фреймворка Lighteval. Наш ознакомительный пакет включает в себя: Четыре версии, переведенные компьютером (греческий ARC,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ilsp
Теги: mistral, finetuned, conversational, el, en, text-generation-inference, endpoints_compatible
Лайков: 22 | Загрузок: 374
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
