DiscoResearch/Llama3-DiscoLeo-Instruct-8B-v0.1 является результатом совместных усилий DiscoResearch и Occiglot при поддержке DFKI (Немецкого исследовательского центра искусственного интеллекта) и hessian.Ai. Occiglot любезно выполнил предварительную обработку, фильтрацию и дедупликацию данных в рамках своего последнего выпуска набора данных, а также поделился своим распределением вычислительных ресурсов на суперкомпьютере hessian.Ai 42. Llama3DiscoLeoInstruct8Bv0 — это версия нашего Llama3-Немецкого-8B с настроенными инструкциями. Базовая модель была получена на основе Llama3-8B компании Meta путем непрерывного предварительного обучения на 65 миллиардах высококачественных немецких токенов, аналогично предыдущим моделям LeoLM или Occiglot. Мы точно настроили эту контрольную точку на наборе данных немецких инструкций из DiscoResearch, созданном Яном-Филиппом Харрисом и Дэниелом Аурасом (DiscoResearch, ellamind). Llama3DiscoLeoInstruct8Bv0.1 использует шаблон чата Llama-3, который можно легко использовать с шаблонами чата Transformer. См. ниже пример использования. Модель была полностью настроена с аксолотлем на гессиане.Ai 42 с длиной контекста 8192, скоростью обучения 2e-5 и размером пакета 16. Мы оценивали модель, используя набор общих английских тестов и их немецких аналогов с…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DiscoResearch
Теги: llama, conversational, de, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 1,218
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
