LLM360 раскрывает тайну рецепта тренировки, использованного для Llama 2 70B с K2. K2 полностью прозрачен. Это означает, что мы открыли исходный код всех артефактов, включая код, данные, контрольные точки модели, промежуточные результаты и многое другое. 65 миллиардов параметров Токены LLM: 1,4 ТБ Языки: английский Выпущенные модели: базовая, модель чата Обучение в 2 этапа Лицензия: Apache 2.0 K2 был разработан в результате сотрудничества MBZUAI, Petuum и LLM360. Коллекция производительности и оценок LLM360 представляет собой надежный набор оценок, состоящий из общих и конкретных оценок для оценки знаний и функций модели. Оценки включают стандартные критерии передового опыта, медицинские, математические знания и знания в области кодирования. Подробнее об оценках можно прочитать здесь. Подробный анализ можно найти в проекте K2 Weights and Biases здесь. Галерея K2 позволяет просматривать результаты различных подсказок на промежуточных контрольных точках K2, что дает интуитивное понимание того, как модель развивается и совершенствуется с течением времени. Это вдохновлено книгой Блума. Следующий набор данных использовался для тренировки K2 и достижения результатов, соответствующих Llama 2 70B. Мы предоставляем пошаговые руководства по воспроизведению для любителей технологий, искусственного интеллекта…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LLM360
Теги: llama, nlp, llm, en, text-generation-inference, endpoints_compatible
Лайков: 99 | Загрузок: 155
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
