> Более подробную информацию о OLMO-7B-Instruct см. в карточке модели OLMo-7B-Instruct компании Allen AI. OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Базовые модели OLMo обучаются на наборе данных Dolma. Версия Instruct обучается на очищенной версии набора данных UltraFeedback. OLMo 7B Instruct обучен лучше отвечать на вопросы. Они показывают прирост производительности, которого могут достичь базовые модели OLMo с помощью существующих методов тонкой настройки. Эта версия модели является производной от ssec-uw/OLMo-7B-Instruct-hf в формате GGUF, двоичном формате, оптимизированном для быстрой загрузки и сохранения моделей, что делает его высокоэффективным для целей вывода. Помимо того, что модель находится в формате GGUF, модель была квантована, чтобы уменьшить затраты вычислений и памяти на выполнение вывода. В настоящее время мы работаем над добавлением всех типов квантования. Эти файлы предназначены для использования с GGML и исполнителями на основе GGML, такими как llama.cpp. Чтобы начать использовать один из файлов GGUF, вы можете просто использовать llama-cpp-python, привязку Python для llama.cpp. 1. Установите llama-cpp-python версии не ниже 0.2.70 с помощью pip. Следующая команда установит…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: uw-ssec
Теги: gguf, en, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 457
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
