Авторы: Ашвини Кумар Джиндал, Паван Кумар Раджпут, Анкур Парих, Акшита Сухлеча 🤗 Блог об объятиях обнимающих лиц: https://huggingface.co/blog/akjindal53244/llama31-storm8b Это квантованная версия GGUF Llama-3.1-Storm-8B, для использования с llama.cpp. Модель BF16 здесь Мы представляем модель Llama-3.1-Storm-8B, которая значительно превосходит модели Llama-3.1-8B-Instruct и Hermes-3-Llama-3.1-8B от Meta AI в различных тестах, как показано на графике сравнения производительности в следующем разделе. Наш подход состоит из трех ключевых этапов: 1. Самокурирование. Мы применили два метода самокурирования, чтобы выбрать примерно 1 миллион высококачественных примеров из пула примерно в 2,8 миллиона примеров с открытым исходным кодом. Наши критерии курирования были сосредоточены на образовательной ценности и уровне сложности, используя один и тот же SLM для аннотаций вместо более крупных моделей (например, 70B, 405B). 2. Целевая точная настройка. Мы выполнили целевую тонкую настройку на основе Spectrum для модели Llama-3.1-8B-Instruct. Метод Spectrum ускоряет обучение, выборочно нацелив модули слоев на основе их отношения сигнал/шум (SNR) и заморозив оставшиеся модули. В нашей работе 50% слоев заморожены. 3. Объединение моделей: мы объединили наши…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: akjindal53244
Теги: gguf, llama, llama-3.1, conversational, instruction following, reasoning, function calling, en
Лайков: 41 | Загрузок: 241
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
