В этом репозитории содержится экспериментально-образовательная доработанная модель турецкого проекта «Лама 3» и его варианты, которые можно использовать для разных целей. Фактическая обученная модель представляет собой модель адаптера квантовой модели Unsloth Llama 3-8B, которая затем преобразуется в формат .gguf с помощью llama.cpp и в формат .bin для vLLM. Модель открыта для дальнейшего развития, мы продолжим обучение модели, когда получим качественные данные. Мы не можем использовать все наборы данных на турецком языке, поскольку некоторые из них имеют низкое качество перевода с английского. Обучение на NVIDIA L4 со 150 шагами заняло около 8 минут. — Мы рекомендуем вам использовать шаблон подсказки Alpaca или другой шаблон, в противном случае вы можете увидеть поколения, не имеющие смысла или постоянно повторяющие одно и то же предложение. — Используйте модель с графическим процессором, поддерживающим CUDA.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: cenfis
Теги: peft, gguf, llama, unsloth, trl, sft, en, text-generation-inference
Лайков: 4 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
