Это полностью 4-битная (размер группы = 64) квантованная модель HQQ Hermes-3-Llama-3.1-70B. Размер модели и скорость декодирования должны быть аналогичны версии Llama-3.1-70b-instruct4bitgs64hqq. Кроме того, убедитесь, что вы используете как минимум Torch 2.4.0 или ночную сборку.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mobiuslabsgmbh
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Дальнейшая доработанная версия Locutusque/gpt2-large-conversational на MedText и pubmed_qa. Эта модель оценивалась с использованием GPT-3.5, и ей были заданы...
У нас есть бесплатный блокнот Google Colab для превращения Llama 3.1 (8B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-GRPO.ipynb Все блокноты...
Эта модель была сегментирована с помощью torch.float16. Используйте приведенный ниже код, чтобы загрузить эту модель, настройте device_map для...
👋 Присоединяйтесь к нашему сообществу Discord. 📖 Ознакомьтесь с техническим блогом GLM-4.7 и техническим отчетом (GLM-4.5). 📍 Используйте...
