— ✅ Обучить новый токенизатор BBPE — ✅ Тестировать код поезда на модулях TPUv4 (с параллельной моделью) — ✅ Преобразование теста (jax в PyTorch) — ✅ Проверка поезда LM на минимальном наборе данных (1 предложение 1000 шагов) — ⏳ Создать перетасовку данных (обучение по учебной программе) — ⏳ Обучить модель 7B — ⏳ Обучить модель 13B — ⏳ Обучить модель 33B — Обучить Модель 65B KoLLaMA (33B) обучена на корейском/английском/кодовом наборе данных с архитектурой LLaMA через JAX при теплой поддержке со стороны программы Google TPU Research Cloud для предоставления части вычислительных ресурсов. LLaMA — это авторегрессионная языковая модель, основанная на архитектуре преобразователя. Модель поставляется в разных размерах: параметры 7В, 13В, 33В и 65В. Дополнительную информацию можно найти в статье «LLaMA, открытые и эффективные базовые языковые модели», доступной по адресу https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/. KoLLAMA: [TBD] LLAMA: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ Вопросы и комментарии по KoLLaMA можно отправлять через репозиторий проекта на GitHub, открыв задачу. Основное использование KoLLaMA — исследование корейских моделей большого языка с открытым исходным кодом. Основное…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, KoLLAMA, KoreanGPT, ko, en, endpoints_compatible
Лайков: 9 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
