NousResearch/Nous-Capybara-34B, migtissera/Tess-M-v1.2 и migtissera/Tess-M-v1.3 объединены с новой экспериментальной реализацией «смелых связей» через mergekit. См.: > Языковые модели — это Супер Марио: поглощение способностей гомологичных моделей в качестве бесплатного обеда. Он был квантован с помощью exllamav2 по 200 строкам (400 тыс. токенов) в длинном чате в формате Vicuna, одной научно-фантастической истории и одной фэнтезийной истории. Мы надеемся, что это должно обеспечить более высокую производительность чата, чем квантование викитекста по умолчанию. Объединен со следующей конфигурацией и токенизатором от Yi Llamafied: использовались Tess 1.2 (с малым весом) и 1.3, потому что, по словам тренера, они обучались на разных наборах данных: https://migel.substack.com/p/learnings-from-training-tess. Я решил не включать другие тонкие настройки, такие как Dolphin, потому что они не обучаются на базе 200K. Если появятся какие-либо другие настройки 200K, дайте мне знать. Первый проход квантования exllama, по 80 строкам, чтобы он поместился в памяти: Будучи моделью Yi, попробуйте отключить токен BOS и/или запустить более низкую температуру с помощью MinP, если выходные данные кажутся неправильными. Иногда модель «прописывает» жетон остановки, как у Капибары, поэтому вам может потребоваться добавить дополнительную остановку…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: brucethemoose
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
