Эта модель была создана на основе великого @winglian с его последней моделью winglian/Llama-3-8b-64k-PoSE > Эта модель использует PoSE для увеличения длины контекста Llama с 8 до 64 КБ @roptheta: 500000.0. > Мы использовали PoSE с постоянным предварительным обучением на 300 млн токенов из набора данных RedPajama V1, используя данные между 6–8 тыс. токенов. > После продолжительной предварительной подготовки мы дополнительно установили верёвку на 2M, чтобы потенциально расширить контекст за пределы 64k. > Это было обучено на подмножестве набора данных RedPajama v1 с текстом в контексте 6–8 тыс. Мы обучили стабилизированный по рангу LoRA ранга 256. WandB Все модели GGUF имеют длину контекста 64000: MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF. Эту модель можно использовать, указав MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.3 в качестве имени модели в библиотеке трансформеров Hugging Face.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: llama, axolotl, finetune, dpo, facebook, meta, llama-3, 64k
Лайков: 12 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
