Модель большого языка DictaLM-2.0 (LLM) — это предварительно обученная генеративная текстовая модель с 7 миллиардами параметров, специально обученная для текста на иврите. Полную информацию об этой модели можно найти в нашем блоге или в техническом отчете. Это базовая модель полной точности. Вы можете просмотреть и получить доступ к полной коллекции базовых/инструктированных неквантованных/квантованных версий DictaLM-2.0 здесь. Уже доступны для использования предварительно квантованные 4-битные модели с использованием методов GPTQ и AWQ: DictaLM-2.0-AWQ и DictaLM-2.0-GPTQ. Для динамического квантования на ходу вот пример кода, который загружает модель в графический процессор с помощью пакета bitsandbytes, требуя: DictaLM-2.0 основан на модели Mistral-7B-v0.1 со следующими изменениями: — Расширенный токенизатор с 1000 введенными токенами специально для иврита, увеличивающий степень сжатия с 5,78 токенов/слово до 2,76 токенов/слово. — Продолжение предварительной подготовки по более чем 190 миллиардам токенов естественного текста, 50 % на иврите и 50 % на английском. DictaLM 2.0 — это предварительно обученная базовая модель, поэтому она не имеет каких-либо механизмов модерации.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dicta-il
Теги: mistral, pretrained, en, he, text-generation-inference, endpoints_compatible
Лайков: 27 | Загрузок: 5,525
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
