Эта модель представляет собой доработку модели Falcon 40B LLM компании TII. Он был обучен на смеси потоков OASST top-2 (экспортирован 2 июня 2023 г.), Dolly-15k и синтетических наборов данных инструкций (см. конфигурацию набора данных ниже). — Точная настройка: tiiuae/falcon-40b — Тип модели: языковая модель преобразователя, предназначенная только для каузального декодера. — Язык: английский, немецкий, испанский, французский (и ограниченные возможности итальянского, португальского, польского, голландского, румынского, чешского, шведского); — Демо: Продолжения для 250 случайных подсказок, многоязычность — 60 — Результаты оценки: ilm-eval — Веса и смещения: журнал обучения (контрольная точка: 1226 шагов) — Лицензия: Apache 2.0 — Контакт: Open-Assistant Discord Два специальных токена используются для обозначения начала поворотов пользователя и помощника: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: RefinedWeb, sft, custom_code, en, de, es, fr, text-generation-inference
Лайков: 38 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
