«Краковяк-В2-7Б» — это современная ЛЛМ с параметрами 7,3 миллиарда параметров на базе Мистраля-7Б. Он был настроен для генерации польского текста с использованием специально созданного большого корпуса из 300 тысяч польских инструкций. Он использует новые методы, например. LORA, добавление шума к встраиваниям для большей производительности. Для получения полной информации об этой модели прочитайте нашу статью, которая скоро будет выпущена. Krakowiak-v2-7b представляет собой огромное обновление Krakowiak-7b, в котором реализованы следующие улучшения: — Внимание к групповым запросам — Внимание к скользящим окнам — Байтовый резервный токенизатор BPE — Значительно больший корпус обучения лучшего качества — Улучшенный конвейер обучения — Более быстрый вывод — Отсутствие случайной генерации токенов (генерация русского или чешского текста наряду с польским) — Значительно более высокое качество сгенерированного текста В Краковяке не реализованы какие-либо механизмы цензуры. Чтобы использовать точную настройку инструкций, ваше приглашение должно быть окружено токенами [INST] и [/INST]. Самая первая инструкция должна начинаться с идентификатора начала предложения. Следующие инструкции не должны. Генерация помощника будет завершена по идентификатору токена конца предложения. По моему опыту, значение температуры 0,7 является лучшим базовым значением. Вы можете играть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: szymonrucinski
Теги: mistral, pl, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
