Модель большого языка DictaLM-2.0 (LLM) — это предварительно обученная генеративная текстовая модель с 7 миллиардами параметров, специально обученная для текста на иврите. Подробную информацию об этой модели можно найти в нашем блоге или в техническом отчете. Это базовая модель, предназначенная для завершения (не для чата!) в формате GGUF для использования с llama.cpp. Доступны две версии: точность float16 (.F16.gguf) и 4-битная квантованная точность (.Q4KM.gguf). Вы можете просмотреть и получить доступ к полной коллекции базовых/инструктированных неквантованных/квантованных версий DictaLM-2.0 здесь. DictaLM-2.0 основан на модели Mistral-7B-v0.1 со следующими изменениями: — Расширенный токенизатор с 1000 введенными токенами специально для иврита, увеличивающий степень сжатия с 5,78 токенов/слово до 2,76 токенов/слово. — Продолжение предварительной подготовки по более чем 190 миллиардам токенов естественного текста, 50 % на иврите и 50 % на английском. DictaLM 2.0 — это предварительно обученная базовая модель, поэтому она не имеет каких-либо механизмов модерации.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dicta-il
Теги: gguf, pretrained, en, he, endpoints_compatible
Лайков: 6 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
