ДЕМО-модель — чтобы продемонстрировать потенциал ресурсоэффективного непрерывного предварительного обучения больших языковых моделей с использованием Spectrum CPT*** Представляем SauerkrautLM-1.5b — нашу версию мощного Qwen/Qwen2-1.5B для квашеной капусты! — Непрерывное предварительное обучение на немецких данных с помощью Spectrum CPT (Эрик Хартфорд, Лукас Аткинс, Фернандо Фернандес Нето и Дэвид Гольчинфар), ориентированное на 25% слоев. — Точная настройка с помощью SFT — Согласование с DPO 1. Обзор всех SauerkrautLM-1.5b 2. Подробности модели — Процедура обучения 3. Оценка 5. Отказ от ответственности 6. Контакты 7. Сотрудничество 8. Благодарность SauerkrautLM-1.5b — Тип модели: SauerkrautLM-1.5b — это настроенная модель на основе Qwen/Qwen2-1.5B — Язык(и): немецкий, английский — Лицензия: Apache 2.0 — Контактное лицо: VAGO Solutions Эта модель представляет собой демонстрационную версию, предназначенную для демонстрации потенциала ресурсоэффективного обучения больших языковых моделей с использованием Spectrum CPT. Вот краткое описание процедуры: используя Spectrum Эрика Хартфорда, Лукаса Аткинса, Фернандо Фернандеса Нето и Дэвида Голчинфара, модель задействовала 25% своих слоев во время обучения. Такой подход позволил существенно сэкономить ресурсы: Spectrum с 25%-ным уровнем таргетинга потреблял 309,78 ГБ при размере пакета 2048…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: VAGOsolutions
Теги: qwen2, spectrum, continuous pretraining, sft, dpo, conversational, de, en
Лайков: 10 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
