Эта модель представляет собой доработанную версию мета-ламы/Мета-ламы-3-8B-Instruct. Идея этой модели заключается в обучении на наборе данных, полученном из меньшего подмножества tagengo-gpt4, но с улучшенным качеством данных. Я попытался добиться более высокого качества данных, используя GPT-4o, последнюю версию LLM OpenAI с улучшенными многоязычными возможностями. Цель обучения в первую очередь ориентирована на русский язык (80% обучающих примеров). После обучения в течение 1 эпохи на 2 NVIDIA A100 модель показывает многообещающие результаты в оценочном тесте MT-Bench, превосходя GPT-3.5-turbo и находясь на одном уровне с Suzume по показателям по русскому языку, хотя последняя обучается на в 8 раз большем и более разнообразном наборе данных. Самый простой способ использовать эту модель на своем компьютере — использовать GGUF-версию этой модели (ruslandev/llama-3-8b-gpt-4o-ru1.0-gguf) с помощью такой программы, как llama.cpp. Если вы хотите использовать эту модель напрямую со стеком Huggingface Transformers, я рекомендую использовать мою структуру gptchain. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 1e-05 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 2 — Gradientaccumulationsteps:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ruslandev
Теги: llama, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 1,017
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
