Эта модель щедро создана и сделана с открытым исходным кодом компанией Astronomer. Astronomer является де-факто компанией Apache Airflow, самой надежной среды с открытым исходным кодом для оркестрации данных и MLOps. — Создатель исходной модели: Meta Llama из Meta — Исходная модель: мета-лама/Meta-Llama-3-8B-Instruct — Построено с помощью Meta Llama 3 — Квантовано Astronomer — Для загрузки этой модели в vLLM убедитесь, что все запросы имеют «stoptokenids»: [128001, 128009] для временного решения проблемы непрерывной генерации. — vLLM пока не поддерживает файл Generationconfig.json. — Команда vLLM работает над исправлением этой проблемы https://github.com/vllm-project/vllm/issues/4180. — Для oobabooga/text-generation-webui. — Загрузите модель через AutoGPTQ с включенным параметром noinjectfusedattention. Это ошибка библиотеки AutoGPTQ. — В разделе «Параметры» -> «Генерация» -> «Пропустить специальные токены»: отключите это (отмените выбор) — В разделе «Параметры» -> «Генерация» -> «Пользовательские строки остановки»: добавьте «»,»»` в поле. Этот репозиторий содержит 4-битные квантованные файлы модели GPTQ для мета-ламы/Meta-Llama-3-8B-Instruct. Эта модель может быть оснащена менее чем 6 ГБ видеопамяти (значительное сокращение по сравнению с исходной моделью на 16,07 ГБ) и может обслуживаться молниеносно с помощью самого дешевого…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: astronomer
Теги: llama, llama-3, facebook, meta, astronomer, gptq, pretrained, quantized
Лайков: 26 | Загрузок: 116
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
