— ✅ Обучение новому токенизатору BBPE — ✅ Тестирование кода поезда на модулях TPUv4 (с параллельной моделью) — ✅ Преобразование теста (jax в PyTorch) — ✅ Проверка поезда LM на минимальном наборе данных (1 предложение 1000 шагов) — ⏳ Создание перетасовки данных (обучение по учебной программе) — ⏳ Модель поезда 7B — Модель поезда 13B — Модель поезда 33B — Модель поезда 65B KoLLaMA (7B) обучался на корейском/английском/кодовом наборе данных с архитектурой LLaMA через JAX при теплой поддержке со стороны программы Google TPU Research Cloud для предоставления части вычислительных ресурсов. LLaMA — это авторегрессионная языковая модель, основанная на архитектуре преобразователя. Модель поставляется в разных размерах: параметры 7В, 13В, 33В и 65В. Дополнительную информацию можно найти в статье «LLaMA, открытые и эффективные базовые языковые модели», доступной по адресу https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/. KoLLAMA: [TBD] LLAMA: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ Вопросы и комментарии по KoLLaMA можно отправлять через репозиторий проекта на GitHub, открыв задачу. Основное использование KoLLaMA — исследование корейских моделей большого языка с открытым исходным кодом. Основное предназначение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, KoLLAMA, KoreanGPT, ko, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
