Эта модель щедро создана и сделана с открытым исходным кодом компанией Astronomer. Astronomer является де-факто компанией Apache Airflow, самой надежной среды с открытым исходным кодом для оркестрации данных и MLOps. — Создатель исходной модели: Мета-лама из Meta. — Исходная модель: мета-лама/Мета-лама-3-8B. — Построена с помощью Meta Llama 3. — Квантована Дэвидом Сюэ из Astronomer. — Если вы собираетесь доработать эту модель с помощью любых добавленных жетонов или выполнить точную настройку для следующих инструкций, используйте ветку/версию с фиксированными необученными специальными жетонами. — Специальные жетоны, такие как те, которые используются для инструктирования, недостаточно обучены в базовых моделях Llama 3. — Авторы: обнаружено Дэниелом Ханом https://twitter.com/danielhanchen/status/1781395882925343058 — !image/png — Для загрузки этой модели в vLLM убедитесь, что все запросы имеют «stoptokenids»:[128001, 128009], чтобы временно решить проблему непрерывной генерации. — vLLM пока не поддерживает файл Generationconfig.json. — Команда vLLM работает над исправлением этой проблемы https://github.com/vllm-project/vllm/issues/4180. — Для oobabooga/text-generation-webui. — Загрузите модель через AutoGPTQ с включенным параметром noinjectfusedattention. Это ошибка библиотеки AutoGPTQ. — В разделе «Параметры» -> «Генерация» ->…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: astronomer
Теги: llama, llama-3, facebook, meta, astronomer, gptq, pretrained, quantized
Лайков: 7 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
