Тонкая настройка ролевой игры Bluemoon для LLaMA 13B (только для 2 ролевых игроков). Предоставляются две модели, обозначенные (1) 4k-epoch6 и (2) epoch3 (другая ветвь). В случае (1) обучение продлевается на большее количество эпох, чтобы уменьшить большие потери при обучении, наблюдаемые в (2). В этом выпуске также тестируется более длинный размер контекстного токена 4 КБ, достигнутый с помощью AliBi. 1. ggml-bluemoonrp-13b-4k-epoch6-q50.bin 2. ggml-bluemoonrp-13b-epoch3-q50.bin 1. bluemoonrp-13b-4k-epoch6-4bit-128g.safetensors 2. bluemoonrp-13b-epoch3-4bit-128g.safetensors Эта модель была обучена с использованием следующая подсказка (формат Vicuna 1.1):
Модальности:
Генерация текста
Задача: Генерация текста
Автор: reeducator
Теги: llama, en, endpoints_compatible
Лайков: 40 | Загрузок: 758
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
