Эта модель представляет собой доработку модели Falcon 40B LLM компании TII. Он был обучен с использованием лучших (высококачественных) демонстраций набора данных OASST (экспортированного 6 мая 2023 г.) с эффективным размером пакета 144 для ~7,5 эпох с отсевом в стиле LIMA (p=0,3) и длиной контекста 2048 токенов. — Точная настройка: tiiuae/falcon-40b — Тип модели: языковая модель преобразователя, предназначенная только для каузального декодера. — Язык: английский, немецкий, испанский, французский (и ограниченные возможности итальянского, португальского, польского, голландского, румынского, чешского, шведского); — Демо: Продолжение для 250 случайных запросов — Результаты оценки: ilm-eval — Веса и смещения: журнал обучения (контрольная точка: 560 шагов) — Лицензия: Apache 2.0 — Контакт: Open-Assistant Discord Для обозначения начала хода пользователя и помощника используются два специальных токена: и . Каждый ход заканчивается жетоном. Ввод заканчивается токеном, сигнализирующим о том, что модель должна начать генерировать ответ помощника.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenAssistant
Теги: RefinedWeb, sft, custom_code, en, de, es, fr, text-generation-inference
Лайков: 51 | Загрузок: 121
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
