Dicta-LM 3.0 — это мощная открытая коллекция LLM, обученная на обширных корпусах текстов на иврите и английском языке. Модели доступны для скачивания и неограниченного использования. Модели установили новый SOTA для своей весовой категории для иврита, как в качестве базовых моделей, так и в качестве моделей для чата. Это модель инструкций Hybrid-SSM с 12 миллиардами параметров и полной точностью (BF16), первоначально инициализированная из NVIDIA-Nemotron-Nano-12B-v2-Base. Подробную информацию об этой модели можно найти в нашем блоге или в техническом отчете. Вы можете просмотреть и получить доступ к полной коллекции базовых/инструктированных неквантованных/квантованных версий DictaLM 3.0 здесь. Чтобы использовать точную настройку инструкций, ваше приглашение должно отображаться с использованием шаблона чата, указанного для этой модели. Большинство библиотек делают это автоматически, поэтому вы можете просто позволить им сделать это. Мы рекомендуем использовать vLLM, но вы также можете использовать Transformers: модель поддерживает вызов инструментов, обеспечивая интеграцию с внешними инструментами и API. Например, как использовать вызов инструмента, см. документацию vLLM.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: dicta-il
Теги: gguf, pretrained, en, he, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 1,186
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
