Обновление — 01.03.2024 — Перезалил модель в bfloat16 dtype. — 02.03.2024 — самая сильная на данный момент модель тонкой настройки Gemma: добавлена оценка AGIEval, GPT4ALL и Bigbench с AVG 54,13 и таблица лидеров H6 Open LLM с AVG 67,83. Представляем SauerkrautLM-Gemma-7b — нашу версию мощного google/gemma-7b для квашеной капусты! Это отлаженная модель на ранней стадии, и ее следует использовать с осторожностью! Модель SauerkrautLM-Gemma-7b — совместная разработка VAGO Solutions и Hyperspace.ai. Большой признательности заслуживают огромные исследовательские усилия Фернандо Фернандеса Нето, Дэвида Голчинфара и Эрика Хартфорда по их подходу лазерной РМТ. Без их независимого исследовательского сотрудничества выпуск этой модели был бы невозможен. — Согласовано с SFT — Согласовано с DPO — Используя новую технику обучения: laser-QLoRA — мы частично замораживаем модель в соответствии с лазерным анализом (скоро появится официальная статья). Он позволяет оценить теорему об отсутствии бесплатного обеда и помогает лучше принимать решения при оптимизации теоремы — создано исследовательской группой LaserRMT — Оптимизировано с помощью LaserRMT 1. Обзор всех моделей SauerkrautLM-Gemma-7b 2. Подробности модели — Шаблон подсказки — Процедура обучения 3.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: VAGOsolutions
Теги: gemma, sft, dpo, laserRMT, laser-QLoRa, finetune, work in progress, alpha
Лайков: 13 | Загрузок: 78
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
