— ✅ Обучение новому токенизатору BBPE — ✅ Тестирование кода поезда на модулях TPUv4 (с параллельной моделью) — ✅ Преобразование теста (jax в PyTorch) — ✅ Проверка поезда LM на минимальном наборе данных (1 предложение 1000 шагов) — ⏳ Создание перетасовки данных (обучение по учебной программе) — ⏳ Модель обучения 7B — ⏳ Модель обучения 13B — Модель обучения 33B — Модель обучения 65B KoLLaMA (13B) прошел обучение на корейском/английском/Code наборе данных с архитектурой LLaMA через JAX при теплой поддержке со стороны программы Google TPU Research Cloud для предоставления части вычислительных ресурсов. LLaMA — это авторегрессионная языковая модель, основанная на архитектуре преобразователя. Модель поставляется в разных размерах: параметры 7В, 13В, 33В и 65В. Дополнительную информацию можно найти в статье «LLaMA, открытые и эффективные базовые языковые модели», доступной по адресу https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/. KoLLAMA: [TBD] LLAMA: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ Вопросы и комментарии по KoLLaMA можно отправлять через репозиторий проекта на GitHub, открыв задачу. Основное использование KoLLaMA — исследование корейских моделей большого языка с открытым исходным кодом. Основное предназначение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, KoLLAMA, KoreanGPT, ko, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 40
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
