Skein — это серия гибридных моделей генерации историй, предназначенных для использования как в написании текстовых приключений, так и в написании обычных романов. Известно, что модели обладают сильной предвзятостью от второго лица. По вопросам обращайтесь к сообществу KoboldAI. Название происходит от интегрированной среды разработки для языка программирования Inform 7, в которой диалоговое дерево называется «мотком». Inform 6 и 7 использовались для создания интерактивной фантастики в наборе данных. GPT-NeoX-20B-Skein был обучен на модуле TPUv3-32 с использованием сильно модифицированной версии JAX-библиотеки Mesh Transformer Бена Ванга, исходная версия которой использовалась EleutherAI для обучения их модели GPT-J-6B. Гиперпараметры обучения и статистику можно найти здесь. Данные в основном состоят из легких романов из набора данных модели KoboldAI/GPT-Neo-2.7B-Horni-LN и различной интерактивной художественной литературы. В наборе данных для маркировки используется [Themes: ]. Для получения более подробной информации обратитесь к этому документу. Учитывая известные проблемы с технологией НЛП, потенциальные важные факторы включают предвзятость (пол, профессия, раса и религия).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: KoboldAI
Теги: gpt_neox, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 1,646
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
