ariel-ml/PULI-LlumiX-32K-instruct-GGUF

— Epoch: 3 — LoRA rank (r): 16 — LoRA alpha: 16 — Lr: 2e-4 — Lr scheduler: cosine — Optimizer: adamw_8bit — Weight decay: 0.01 — Trained with OpenChatKit github — The LLaMA-2-7B-32K model were continuously pretrained on Hungarian dataset — The model has been extended to a context length of 32K with position interpolation — Checkpoint: 100 000 steps — Hungarian: 7.9 billion words, documents (763K) that exceed 5000 words in length — English: Long Context QA (2 billion words), B

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: ariel-ml
Теги: gguf, puli, llama, finetuned, hu, en, endpoints_compatible, conversational
Лайков: 3  |  Загрузок: 562

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.