Эта модель щедро создана и сделана с открытым исходным кодом компанией Astronomer. Astronomer является де-факто компанией Apache Airflow, самой надежной среды с открытым исходным кодом для оркестрации данных и MLOps. — Идеальная и стабильная Лама-3-70Б для тонкой настройки. — Создатель исходной модели: Meta. — Исходная модель: мета-лама/Meta-Llama-3-70B. — Использование этой модели должно осуществляться в соответствии с лицензией сообщества Llama 3. — Создано с помощью Meta Llama 3 — Создано Дэвидом Сюэ из Astronomer. Это точно такая же модель (meta-llama/Meta-Llama-3-70B) с весами для входных и выходных внедрений из lm head и матрицей внедрения, скорректированной с использованием среднего значения обученных токенов для определенных необученных токенов, что вызвало широко распространенные проблемы у людей, пытающихся точно настроить эту базовую модель, добавляя свои собственные токены или используя существующие. специальные жетоны. Базовая модель Llama 3 (без инструкций), хотя и мощная, имела существенный недостаток: некоторые специальные токены для выполнения инструкций в ее архитектуре оставались необученными, что потенциально могло свести на нет дальнейшие процессы тонкой настройки. Впервые это было отмечено Дэниелом Ханом на X, подчеркнув критический, но исправимый недостаток широко используемой модели. Первичный…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: astronomer
Теги: llama, llama-3, facebook, meta, astronomer, pretrained, finetuned, autotrain_compatible
Лайков: 4 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
