Crystal — это языковая модель с 7 параметрами, специально обученная на наборах данных SlimPajama и StarCoder. Эта модель превосходно сочетает возможности обработки естественного языка и кодирования. Несмотря на то, что обучение проводилось на меньшем наборе данных в 1,4 триллиона токенов (по сравнению с 2 триллионами в LLaMA 2), Crystal превосходит LLaMA 2 в некоторых сложных задачах по английскому языку и кодированию. Он демонстрирует превосходную производительность в таких тестах, как MMLU, HumanEval и MBPP. Сравнивая Crystal с другими подобными работами, можно сказать, что Crystal вполне сбалансирован в решении языковых задач и задач кодирования. Crystal является частью модельной серии Pebble компании LLM360. — Языковые тесты рассчитываются в соответствии с соглашением таблицы лидеров Huggingface, что означает AI2 Reasoning Challenge за 25 кадров, HellaSwag за 10 кадров, MMLU вычисляется за 5 кадров, TruthfulQA за 0 кадров. — Как сообщалось в предыдущей работе, выбор температуры сильно влияет на метрики программирования, мы оцениваем все модели со следующей температурой: — Оценки для HumanEval вычисляются с температурой 0,2 — Оценки для MBPP вычисляются с температурой 0,1 — Подробную разбивку токенов набора данных Crystal см. в репозитории наборов данных Crystal. LLM360 — это инициатива для…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: LLM360
Теги: crystalcoder, llm, code, custom_code, en
Лайков: 75 | Загрузок: 1,542
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
