Мы наносим ответный удар, представляя Cybertron 7B v2 — модель на базе 7B MistralAI, лучшую в своей серии. Прошел обучение по SFT, DPO и UNA (Unified Neural Alignment) на нескольких наборах данных. Он занимает ТОЧНО первое место с результатом 69,67+ на доске лидеров HF, а также восьмое место в рейтинге ВСЕХ РАЗМЕРОВ. v1 Оценка №1 по состоянию на 2 декабря 2023 г. с рейтингом 69,43 ..выпущено несколько моделей .. но выжить сможет только одна: КИБЕРТРОН! v2 Оценка №1 по состоянию на 5 декабря 2023 г. с результатом 69,67. Модель превосходна в математике, логике, рассуждениях и в целом очень умна. Он может глубоко рассуждать по контексту и подсказывать, создается впечатление, что он не упускает деталей вокруг. Совместно с UNA: техника равномерного нейронного выравнивания (документ скоро выйдет в свет). Что НЕ ТАКОЕ УНА? Это не модель объединенных слоев. Это не SLERP или SLURP или что-то подобное. Что такое УНА? Формула и техника приручения моделей * Когда будут выпущены код и документ? Когда будет время, внесите свой вклад и будет быстрее. — Разработано: juanako.ai — Автор: Ксавье М. — Инвесторам СВЯЗАТЬСЯ ЗДЕСЬ — Тип модели: MistralAI 7B — Финансируется Cybertron H100 после нескольких часов обучения. Модель очень хорошая, хорошо работает практически с любыми запросами, но формат ChatML и система Alpaca получают лучшие результаты. Пользователи также сообщают, что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: fblgit
Теги: mistral, juanako, UNA, cybertron, fbl, model-index, text-generation-inference, endpoints_compatible
Лайков: 116 | Загрузок: 753
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
