На основе исходной модели: SOLAR-10.7B-Instruct-v1.0 Автор: upstage. По моему опыту, это одна из лучших моделей в диапазоне 13B для славянских языков. И в целом у него очень хорошие языковые навыки. Я не встречал случаев, когда модель случайным образом переключала язык, в отличие от большинства моделей, которые я пробовал. Он также способен понимать инструкции на других языках, что является довольно редким достижением. 30.01.2024 Заменены старые кванты на новые, созданные с помощью exllamav2-0.0.12, откалиброванные с использованием набора данных exllamav2 по умолчанию. Эта модель использует намного меньше памяти по сравнению с моделями Llama2-13B и почти вмещает 12 ГБ видеопамяти даже при скорости 8 бит в секунду. Но с 8-битным кэшем он использует чуть меньше 12 ГБ видеопамяти. Этот метод квантования использует графический процессор и требует загрузчика Exllamav2, который можно найти в следующих приложениях: Эта модель использует метод слияния Slerp из лучших моделей по состоянию на 14 декабря в таблице лидеров OpenLLM: 1. upstage/SOLAR-10.7B-Instruct-v1.0 2. janhq/Pandora-v1-10.7B Эту модель можно запустить с помощью Jan Desktop на Mac, Windows или Linux. — 💻 100% офлайн-режим на вашем компьютере: ваши разговоры остаются конфиденциальными и видны только вам. — 🗂️ Открытый формат файла: разговоры и настройки модели остаются неизменными…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cgus
Теги: llama, conversational, en
Лайков: 4 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
