Эта модель представляет собой тренировку Yi-34B-Llama на HuggingFaceH4/no_robots. Он использует мой преобразованный набор данных в формате ShareGPT с небольшими исправлениями (https://huggingface.co/datasets/Doctor-Shotgun/no-robots-sharegpt). Модель Yi-34B-Llama представляет собой модифицированную версию 01-ai/Yi-34B с ключами, переименованными в соответствии с теми, которые используются в моделях Llama, что устраняет необходимость в удаленном коде и обеспечивает совместимость с существующими хранилищами обучения и вывода. Архитектурно это похоже на модель Llama 2 34B с расширенным размером словарного запаса 64 000. No Robots — это высококачественный набор данных, состоящий из 10 000 инструкций и демонстраций, созданных опытными аннотаторами-людьми. Эти данные можно использовать для контролируемой точной настройки (SFT), чтобы языковые модели лучше следовали инструкциям. No Robots был смоделирован на основе набора данных инструкций, описанного в документе OpenAI InstructGPT, и состоит в основном из одноходовых инструкций по следующим категориям: Эта история была обучена с использованием модифицированного формата многоходовых подсказок Alpaca: в некоторых примерах чатов есть альтернативные системные подсказки, которые отличаются от значений по умолчанию, приведенных выше. Предполагаемое использование — добавить в базовую модель возможности следования инструкциям на основе тщательно подобранных человеком…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DS-Archive
Теги: llama, generated_from_trainer, en, 8-bit, bitsandbytes
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
