Эта модель представляет собой доработанную версию EleutherAI/pythia-125m, дедупированную на наборе данных openchatgpt Safe-r1. В наборе оценок он достигает следующих результатов: — Потеря: 1,3585 — Точность: 0,9169 Точная настройка на основе внутренней работы ChatGPT. Я не буду подробно останавливаться на этом. Вы должны иметь слабое представление о том, как делается подсказка, чтобы она была эффективной. По сути, это шизофреническая идея, вышедшая на свет. Практически совместная работа трех студентов в виртуальном сарае. Предполагаемое использование и ограничения соответствуют OpenAI. Используемый набор данных состоит из безопасных текстов (то есть не очень сексуальных/эротических материалов). Версия набора данных NSFW на данный момент не планируется существовать. Имейте в виду, что это 125-метровая версия GPT-NeoX (Pythia). Мой 1050Ti Mobile даже не справился с этим без градиентных штучек, также использовался 8BitAdam. Если кто-нибудь знает, как эффективно настроить более крупные модели на бесплатных колабах — дайте мне знать. У токенизатора стопки также есть один недостаток по сравнению с нативным GPT-2/3 — в Ассистенте не 1 токен, а 2. Данные были разделены в соотношении 95%/5%. Предварительная обработка включала удаление упоминаний OpenAI везде, где это было сочтено неуместным (в GPT-2 есть одно из уместных упоминаний).…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mrsteyk
Теги: gpt_neox, generated_from_trainer, text generation, casual-lm, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
