Доработанная версия модели v2ray/Mixtral-8x22B-v0.1 на наборе данных в стиле philschmid/guanaco-sharegpt. Эта модель имеет в общей сложности 141b параметров, из которых только 35b активны. Вы также можете использовать PEFT, чтобы просто загрузить адаптер, если у вас уже загружена одна из этих моделей: v2ray/Mixtral-8x22B-v0.1 или mistral-community/Mixtral-8x22B-v0.1 (они одинаковые). Goku-8x22B-v0.1 был протестирован при генерации текста, ответах на вопросы, основанные на длинном контексте, кодировании и некоторых рассуждениях. В следующей версии я буду использовать больше наборов данных, связанных с математикой и программированием. Это пример истории, написанной MaziyarPanahi/Goku-8x22B-v0.1.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: mixtral, moe, sharegpt, axolotl, conversational, fr, it, de
Лайков: 9 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
