Оценка от 04 февраля 2024 г. # 1 Модель 34B, превосходящая исходную базовую модель Smaug-34B-v0.1 с показателем 77,41 😎 Да, кстати.. эта прошла через SFT, так что счеты внутри Смауга вернулись в нормальное состояние.. так что вы можете дальше тренировать его/dpo.. СБРОС!.. ОБНОВЛЕНИЯ Март: Все еще бесспорно 34B Король Смауг 70B все еще бесспорный 70B King ==== И люди задаются вопросом.. почему нет УНА Гермеса или Смауга 70B? !UNA Применил UNA только к вниманию, а не к MLP. Основан на наборе данных Smaug SimpleMath * Он был обучен на Axolotl. Здесь важно понять, какое влияние SimpleMath применяется на уровне внимания во время сеанса SFT и как оно влияет на нейронную сеть в целом. Результаты: Улучшение математических и рассуждений без ухудшения и давления на предыдущие учебные занятия. И наслаждайтесь нашим детектором инструментов ModelSimilarities https://github.com/fblgit/model-similarity, где мы численно подтвердили кровность модели. Счетам за создание Смауга-34Б, Бублика и всей магии базовой модели. Если вы используете модель, дайте ссылку даже на слияния или что-то еще.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: fblgit
Теги: llama, UNA, simple-math, juanako, conversational, model-index, text-generation-inference, endpoints_compatible
Лайков: 21 | Загрузок: 7,730
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
