AkaLlama — это серия моделей корейского языка, предназначенных для практического использования при решении широкого круга задач. Первоначальная модель AkaLlama-v0.1 представляет собой доработанную версию Meta-Llama-3-70b-Instruct. Он прошел обучение на специальном наборе общедоступных наборов данных, курируемых Лабораторией МИР. Наша цель — изучить экономически эффективные способы адаптации высокопроизводительных LLM для конкретных случаев использования, таких как разные языки (например, корейский) или домены (например, чат-боты для конкретной организации). Это карточка модели трансформера 🤗, которая была размещена на Хабе. — Разработано: Yonsei MIRLab — Язык(и) (NLP): Корейский, английский — Лицензия: llama3 — Точная настройка на основе модели: Meta-llama/Meta-Llama-3-70B-Instruct В этом репозитории представлены полные файлы веса модели для AkaLlama-70B-v0.1. Мы обучили AkaLlama, используя алгоритм выравнивания предпочтений при обучении, который называется «Оптимизация предпочтений по соотношению шансов» (ORPO). Наш конвейер обучения почти идентичен конвейеру HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1, за исключением незначительных изменений гиперпараметров. Дополнительную информацию, включая шаблон чата, можно найти в руководстве по выравниванию Huggingface. Подробные описания данных обучения будут объявлены позже.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mirlab
Теги: llama, meta, llama-3, akallama, conversational, ko, en, text-generation-inference
Лайков: 24 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
