В этой модели отсутствует головка LM, вызванная неудачной ошибкой при сохранении контрольной точки. Мы выпускаем его для исследовательских целей, чтобы попытаться реконструировать головку LM. В принципе это можно сделать для любой модели, но более интересно для модели, с помощью которой восстановление весов было бы заметной моделью SOTA. Tülu3 является ведущим семейством моделей, предлагающим полностью открытые исходные данные, код и рецепты, предназначенные для использования в качестве всеобъемлющего руководства по современным методам пост-обучения. Tülu3 предназначен для выполнения самых разных задач в дополнение к чату, таких как МАТЕМАТИКА, GSM8K и IFEval. — Тип модели: модель, обученная на комбинации общедоступных, синтетических и созданных человеком наборов данных. — Язык(и) (НЛП): В основном английский — Лицензия: Llama 3.1 Лицензионное соглашение сообщества — Тонкая настройка из модели: allenai/Llama-3.1-Tulu-3-70B-DPO — Репозиторий обучения: https://github.com/allenai/open-instruct — Репозиторий оценки: https://github.com/allenai/olmes — Бумага: https://allenai.org/papers/tulu-3-report.pdf (скоро arXiv) — Демо: https://playground.allenai.org/ Случайно инициализируется ошибка на весах головы LM. Все модели Llama 3.1 Tülu3 выпускаются…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 101
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
