Simple Stories будут представлять собой серию небольших моделей генерации текста, обученных на наборе данных TinyStories. Цель — поэкспериментировать с созданием небольших языковых моделей, способных выполнять весьма специфические задачи. В данном случае задачей является создание детских рассказов. Модель имеет параметры 4М (Safetensors похоже раздули это значение до 13М, в будущем разберусь почему). Данная модель не была доработана под инструкции. Когда его спросят, он просто выдаст текст. В ближайшие дни я буду работать над моделью инструкций. Модель представляет собой модель преобразователя только для декодера с 4 слоями декодера и 2 головками внимания. Модель обучалась в течение 3 эпох всего на ~50 МБ текста и уже может создавать полусвязные истории. 1. Импортируйте соответствующие классы HuggingFace Auto и загрузите модель и токенизатор: 2. Токенизируйте входную последовательность и вызовите функцию model.generate. Обратите внимание, что мы вызываем model.model.generate, а не просто model.generate. Нет, эта история не имеет полного смысла. Но большинство слов на английском языке, а персонажи и общий сюжет последовательны. Это прогресс 🙂 Следующий непосредственный шаг — создание модели инструкций для взаимодействия и создания пользовательских историй…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: broskicodes
Теги: simple_stories_4m, text-generation-inference, custom_code, en
Лайков: 16 | Загрузок: 61
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
