Эта модель щедро создана и сделана с открытым исходным кодом компанией Astronomer. Astronomer является де-факто компанией Apache Airflow, самой надежной среды с открытым исходным кодом для оркестрации данных и MLOps. — Идеальная и стабильная Лама-3-8Б для тонкой настройки. — Создатель исходной модели: Мета. — Исходная модель: мета-лама/Мета-Ллама-3-8B. — Использование этой модели должно осуществляться в соответствии с лицензией сообщества Llama 3. — Построено с помощью Meta Llama 3 — Создано Дэвидом Сюэ из Astronomer. Это точно такая же модель (meta-llama/Meta-Llama-3-8B) с весами для входных и выходных внедрений из lm head и матрицей внедрения, скорректированной с использованием среднего значения обученных токенов для определенных необученных токенов, что вызвало широко распространенные проблемы у людей, пытающихся точно настроить эту базовую модель, добавляя свои собственные токены или используя существующие специальные. жетоны. Базовая (без инструкций) модель Llama 3, хотя и мощная, имела существенный недостаток: некоторые специальные токены для выполнения инструкций в ее архитектуре оставались необученными, что потенциально могло свести на нет дальнейшие процессы тонкой настройки. Впервые это заметил Дэниел Хан на X, подчеркнув критический, но исправимый недостаток широко используемой модели. Основная цель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: astronomer
Теги: llama, llama-3, facebook, meta, astronomer, pretrained, finetuned, autotrain_compatible
Лайков: 11 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
