MultivexAI/Plyx-15M — это 8-уровневая языковая модель с 15 миллионами параметров, обученная с нуля с использованием архитектуры Llama. Мы создали эту модель как небольшую полезную основу для различных задач. Это отличная отправная точка для быстрых испытаний, исследовательских проектов или тонкой настройки специализированных работ, где важна небольшая площадь модели. Примечание серии моделей: это первая модель в нашей серии Plyx. Мы продолжаем эту работу и планируем выпустить будущие модели разных размеров. Скоро мы добавим сюда несколько начальных тестов производительности. Мы оценили модель на задачах с множественным выбором с нулевым выстрелом, используя математически стандартизированную программу оценки логарифмического правдоподобия (lm-evaluation-harness). Ниже приведены проверенные оценки как по исходной точности (acc), так и по нормализованной по длине точности (accnorm`) при полном разделении тестирования и проверки: Модель была обучена на тщательно подобранном наборе данных для создания отличной основы, обученной примерно на 600 миллионах токенов: 1. Fineweb-pro: сильно отфильтрованная и уточненная версия набора данных FineWeb. Это обеспечивает прочную основу для языка общего назначения за счет удаления значительного шума и некачественного контента. 2. Fineweb-edu: подмножество FineWeb, содержащее образовательные…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MultivexAI
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 173
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
