Эта модель представляет собой доработку модели Falcon 40B LLM компании TII. Он был обучен с использованием лучших (высококачественных) демонстраций набора данных OASST (экспортированного 6 мая 2023 г.) с эффективным размером пакета 144 для ~7,5 эпох с отсевом в стиле LIMA (p=0,3) и длиной контекста 2048 токенов. Мы ориентируемся на оценку человеческих предпочтений в этой модели как на наиболее ценный момент. Мы считаем, что чисто технические тесты не так важны, как оценка людей, которые являются нашими конечными пользователями. Доработанная версия Falcon, которую мы использовали в качестве базовой модели, была точно настроена на наборе данных Open Assistant и дает лучшие результаты при оценке человека, чем некоторые известные близкие модели, как вы можете видеть в этой статье, и оценку третьей стороны: https://medium.com/@geronimo7/open-source-chatbots-in-the-wild-9a44d7a41a48. В настоящее время мы работаем над масштабированием веревки для длины контекста и интеграцией Chain of Toughts, это Карта модели будет обновлена в ближайшее время. Следите за обновлениями. LMYS Eval для базовой модели Aria 40B (Falcon 40B OA) (https://huggingface.co/OpenAssistant/falcon-40b-sft-top1-560) – Доработано на основе: tiiuae/falcon-40b – Тип модели: языковая модель преобразователя, предназначенная только для декодера – Язык: английский, немецкий, испанский, французский (и ограниченные возможности на итальянском,…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: Faradaylab
Теги: RefinedWeb, sft, code, custom_code, en, de, es, fr
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
