Это коллекция языковых моделей, обученных с использованием Human selection, каждая из которых имеет приблизительно 1B параметров, обученных на различных случайных смесях данных. Этот проект направлен на проверку возможностей обобщения подхода RegMix (https://huggingface.co/papers/2407.01492) от мелкомасштабных (например, 1M параметров) до крупномасштабных (например, 1B параметров) моделей. — Размер модели: 5 отдельных моделей, обученных с различными семенами, каждая с параметрами ~1B — Данные обучения: Смеси данных отбора людей (из бумаги The Pile) в наборе данных RegMix-Data — Цель: Выбор человека является надежной базой для нашего метода RegMix — Модели были обучены с использованием набора данных RegMix-Data, который разделен на разные домены из набора данных The Pile. Вы можете загрузить любую модель, используя соответствующую ветвь с библиотекой Hugging Face Transformers: Конкретная смесь данных, используемая для обучения этой модели 1B, выглядит следующим образом, что также можно найти в нашем коде: > Вес домена будет нормализован, чтобы убедиться, что их сумма составляет 1,0 для наборов поездов в нашем коде. Чтобы получить доступ к различным вариантам модели, просто измените параметр ревизии в методе fromprerained на желаемое семя (например, «семя-2», «семя-3»),…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sail
Теги: llama, en, endpoints_compatible
Лайков: 3 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
