— Создатель модели: Weyaxi — Исходная модель: Einstein-v6.1-Llama3-8B Эта модель представляет собой полную доработанную версию мета-ламы/Мета-ламы-3-8B на различных наборах данных. Эта модель настроена с использованием 8xRTX3090 + 1xRTXA6000 с использованием аксолотля. AWQ — это эффективный, точный и невероятно быстрый метод квантования с низким весом, который в настоящее время поддерживает 4-битное квантование. По сравнению с GPTQ он обеспечивает более быстрый вывод на основе преобразователей с эквивалентным или лучшим качеством по сравнению с наиболее часто используемыми настройками GPTQ. Модели AWQ в настоящее время поддерживаются в Linux и Windows только с графическими процессорами NVidia. Пользователи macOS: вместо этого используйте модели GGUF. — Генерация текста Webui — с использованием загрузчика: AutoAWQ — vLLM — версия 0.2.2 или новее для поддержки всех типов моделей. — Вывод генерации текста обнимающего лица (TGI) — Трансформеры версии 4.35.0 и более поздних версий из любого кода или клиента, поддерживающего Трансформеры — AutoAWQ — для использования из кода Python
Модальности:
Генерация текста
Области применения:
Математика Следование инструкциям Диалог / чат Биология Химия
Языки программирования:
Rust
Задача: Генерация текста
Автор: solidrust
Теги: llama, axolotl, generated_from_trainer, instruct, finetune, chatml, gpt4, synthetic data
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
