Это тонкая настройка QLoRA для слияния предварительно обученных языковых моделей, созданных с помощью mergekit. Модель основана на «обнуленном» сквозном слиянии Llama-3-15B-Instruct-zeroed. В первую очередь это был эксперимент, чтобы увидеть, как сквозное слияние будет реагировать на дальнейшую тонкую настройку всех модулей LoRA. Модель была настроена на длину контекста 8192, и ее можно расширить с помощью RoPE до 32 КБ. Версия 3 модели будет содержать значительно больше данных, в первую очередь ориентированных на человека, направленных на достижение успеха в написании, а также на поддержание логики, последовательности и непрерывности. Небольшой, высококачественный тщательно подобранный набор данных использовался в качестве PoC/проверки стабилизации модели после исходного сквозного слияния. Это модель QLoRA, и на этот раз все модули LoRA были нацелены на обеспечение достаточного обучения перед переходом к более крупным наборам данных. первая версия этой модели ориентирована только на oproj и upproj. Модель является последовательной даже при обучении «обнуленных» слоев плюс дополнительных слоев, поскольку это была рекомендация Чарльза Годдарда (разработчика слияния) — спасибо, что поделились методом слияния, а также Toasty Pigeon за то, что обратил на него мое внимание! Оптимизатор pagedadamw8bit и Deepspeed…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: elinas
Теги: llama, mergekit, merge, finetune, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
