Эта модель представляет собой доработку модели Falcon 7B LLM компании TII. Он был обучен на 11 123 демонстрациях топ-1 (высококачественных) набора данных OASST (экспортирован 2 июня 2023 г.) с размером пакета 128 для 8 эпох с отсевом в стиле LIMA (p = 0,2) и длиной контекста 2048 токенов. — Точная настройка: tiiuae/falcon-7b — Тип модели: языковая модель преобразователя, предназначенная только для каузального декодера. — Язык: английский, немецкий, испанский, французский (и ограниченные возможности итальянского, португальского, польского, голландского, румынского, чешского, шведского); — Веса и смещения: журнал обучения (контрольная точка: 696 шагов) — Код: Open-Assistant/model/modeltraining — Демо: Продолжения для 250 случайных подсказок — Лицензия: Apache 2.0 — Контакт:** Open-Assistant Discord Два специальных токена используются для обозначения начала поворотов пользователя и помощника: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: RefinedWebModel, sft, custom_code, en, de, es, fr, text-generation-inference
Лайков: 22 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
