+ Обученные когнитивные вычисления/WestLake-7B-v2-лазер на jondurbin/truthy-dpo-v0.1 + Пройдены 2 эпохи + Скорость обучения 2e-5 Оценен GGUF из соображений удобства использования. EQ-Bench использует Ooba для вывода. —-Бенчмарк завершен—- 31.01.2024, 14:38:14 Затраченное время: 18,9 минут Формат запроса: ChatML Модель: macadeliccc/WestLake-7B-v2-laser-truthy-dpo-GGUF Оценка (v2): 75,15 Анализируемый: 171,0 Пакет завершен Затраченное время: 19,0 минут Благодаря пользователь bartowski, теперь у нас есть квантование exllamav2 с частотой от 3,5 до 8 бит в секунду. Они доступны здесь: Это был мой процесс во время тонкой настройки, чтобы привести шаблон приглашения в соответствие с ChatML. Кажется, возникла ошибка, из-за которой вы можете использовать либо шаблон приглашения Mistral (исходный), либо ChatML в версии GGUF. ChatML некорректно работает в трансформерах для этой модели.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: macadeliccc
Теги: mistral, model-index, text-generation-inference, endpoints_compatible
Лайков: 25 | Загрузок: 84
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
