DiscoResearch/Llama3-DiscoLeo-Instruct-8B-32k-v0.1 является результатом совместных усилий DiscoResearch и Occiglot при поддержке DFKI (Немецкого исследовательского центра искусственного интеллекта) и hessian.Ai. Occiglot любезно выполнил предварительную обработку, фильтрацию и дедупликацию данных в рамках своего последнего выпуска набора данных, а также поделился своим распределением вычислительных ресурсов на суперкомпьютере hessian.Ai 42. DiscoResearch/Llama3DiscoLeoInstruct8B32kv0.1 — это настроенная на инструкции версия нашего длинноконтекстного Llama3-Немецкий-8B-32k. Базовая модель была получена на основе Llama3-8B компании Meta путем непрерывного предварительного обучения на 65 миллиардах высококачественных немецких токенов, аналогично предыдущим моделям LeoLM или Occiglot. Для версии с длинным контекстом мы обучили дополнительные 100 миллионов токенов с длиной контекста 32 тыс., используя значение веревки 1,5e6 и скорость обучения 1,5e-5 с размером пакета 256 * 8192 и в остальном гиперпараметры, равные базовой модели. Мы точно настроили эту контрольную точку на наборе данных немецких инструкций из DiscoResearch, созданном Яном-Филиппом Харрисом и Дэниелом Аурасом (DiscoResearch, ellamind). Llama3DiscoLeoInstruct8B32k_v0.1 использует шаблон чата Llama-3, который можно легко использовать с…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DiscoResearch
Теги: llama, conversational, de, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
