Это набор из 64 языковых моделей, каждая из которых имеет примерно 1 млрд параметров, обученных на различных случайных смесях данных. Этот проект направлен на проверку возможностей обобщения подхода RegMix (https://huggingface.co/papers/2407.01492) от мелкомасштабных (например, параметры 1M) до крупномасштабных (например, параметры 1B) моделей. — Размер модели: 64 отдельные модели, каждая с ~1 млрд параметров. — Данные обучения: случайные смеси данных в наборе данных RegMix-Data. — Цель: проверить эффективность RegMix при выявлении высокоэффективной смеси данных. Модели были обучены с использованием набора данных RegMix-Data, который разделен на разные домены из набора данных The Pile. Вы можете загрузить любую модель, используя соответствующую ветку библиотеки Hugging Face Transformers: конкретную смесь данных, используемую для обучения каждой модели 1B, можно найти в файле trainconfig.yaml` в каждой соответствующей ветке модели. Чтобы получить доступ к различным вариантам модели, просто измените параметр ревизии в методе frompretrained` на желаемый индекс модели (например, «model-index-2», «model-index-3»), а максимальный индекс равен 64. — Эти модели в первую очередь предназначены для исследовательских целей. — Производительность может отличаться…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: sail
Теги: llama, en, endpoints_compatible
Лайков: 4 | Загрузок: 65
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
