Документ: https://arxiv.org/pdf/2310.06694.pdf Код: https://github.com/princeton-nlp/LLM-Shearing Лицензия: должна соответствовать лицензии Pythia, поскольку это модель, основанная на Pythia. Sheared-Pythia-160m — это модель, обрезанная и предварительно обученная на основе EleutherAI/pythia-410m. Мы динамически загружаем данные из разных доменов в набор данных Pile, чтобы сократить и продолжить предварительное обучение модели. Мы используем токены 0,4 млрд для сокращения и токены 50 млрд для дальнейшего предварительного обучения сокращенной модели. Эту модель можно загрузить с помощью HuggingFace через. Общая производительность модели лучше, чем у EleutherAI/pythia-160m.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: princeton-nlp
Теги: gpt_neox, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
