Квантовано с использованием выборок 8192 токенов из набора данных ExllamaV2 по умолчанию. Модель большого языка Mixtral-8x7B (LLM) представляет собой предварительно обученную генеративную разреженную смесь экспертов. Mixtral-8x7B превосходит Llama 2 70B в большинстве протестированных нами тестов. Полную информацию об этой модели можно найти в нашем блоге. Этот репозиторий содержит веса, совместимые с обслуживанием модели vLLM, а также библиотеку трансформаторов Hugging Face. Он основан на оригинальной торрент-версии Mixtral, но формат файла и имена параметров другие. Обратите внимание, что модель (пока) не может быть создана с помощью HF. Этот формат необходимо строго соблюдать, иначе модель будет генерировать неоптимальные результаты. Шаблон, используемый для создания приглашения для модели Instruct, определяется следующим образом: Обратите внимание, что и — это специальные токены для начала строки (BOS) и конца строки (EOS), тогда как [INST] и [/INST] — это обычные строки. Для справки, вот псевдокод, используемый для токенизации инструкций во время тонкой настройки: Обратите внимание, что в приведенном выше псевдокоде метод токенизации не должен автоматически добавлять токен BOS или EOS, а должен добавлять префиксный пробел. По умолчанию трансформеры загрузят модель полностью…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: intervitens-archive
Теги: mixtral, conversational, fr, it, de, es, en, text-generation-inference
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
