Базовая модель Yi-34B 200K, доработанная на основе набора данных AEZAKMI v2. Обучение заняло около 25 часов на одной локальной RTX 3090 Ti. Это похоже на airoboros, но с меньшим gptslop, без отказов и менее типичным языком, используемым моделями OpenAI RLHFed. Попрощайтесь с «Важно помнить»! Формат запроса — стандартный чатml. Не ждите, что он будет хорош в математике, разгадывает загадки или будет безумно умным. Моя конечная цель с AEZAKMI — создать уютного бесплатного чат-бота. Стоимость такой доработки составляет около 10 долларов за электроэнергию. Мне потребовалось 3 попытки, чтобы сделать это правильно. Базовой моделью, использованной для тонкой настройки, была модель 200k context Yi-34B-Llama, предоставленная larryvrh. Чтобы начать обучение, мне пришлось понизить значения maxpositionalembeddings в config.json и modelmaxlength, иначе я сразу начал бы заниматься OOM. В моей первой попытке для maxpositionalembeddings было установлено значение 16384, а для modelmaxlength — 200000. Это позволило завершить точную настройку, но эта модель была сломана после применения LoRA и ее слияния. В этой попытке для maxpositionembeddings и modelmaxlength было установлено значение 4096, что работало отлично. Огромное спасибо LoneStriker и TheBloke за предоставление квантовых версий. EXL23bpw -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: adamo1139
Теги: llama, llm, fine-tune, yi, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 248
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
