— Создатель модели: когнитивные вычисления — Оригинальная модель: fc-dolphin-2.6-mistral-7b-dpo-laser Функция, вызывающая версию когнитивных вычислений/dolphin-2.6-mistral-7b-dpo-laser Следит за реализацией laserRMT @ https://github.com/cognitivecomputations/laserRMT и новой методикой обучения — мы частично замораживаем модель в соответствии с лазерным анализом (скоро будет официальная статья), что эффективно предотвращает значительную проблему забывания языковых моделей previ Этот аспект особенно важен при попытке обучить модель конкретным навыкам, таким как вызов функций. Мы намерены стать первыми в семействе экспериментов, проводимых @ Cognitive Computations. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким битовым весом, который в настоящее время поддерживает 4-разрядное квантование. По сравнению с GPTQ, он предлагает более быстрый вывод на основе трансформаторов с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows, только с графическими процессорами NVidia. для пользователей macOS: используйте модели GGUF. — Генерация текста Webui — использование загрузчика: AutoAWQ — vLLM — версия 0.2.2 или более поздняя…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Языки программирования:
Rust
Задача: Генерация текста
Автор: solidrust
Теги: mistral, quantized, 4-bit, AWQ, conversational, autotrain_compatible, endpoints_compatible, text-generation-inference
Лайков: 3 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.