byteshape/North-Mini-Code-1.0-GGUF - Каталог нейросетей
Генерация текста

byteshape/North-Mini-Code-1.0-GGUF

Добавлено:
byteshape/North-Mini-Code-1.0-GGUF

Это квантованная GGUF версия North-Mini-Code-1.0, созданная с помощью ShapeLearn от ByteShape, которая изучает оптимальный тип данных для каждого тензора для поддержания высокого качества даже при очень малых битовых длинах. Чтобы узнать больше о ShapeLearn и просмотреть подробные тесты графических процессоров, посетите наш блог. Если у вас есть вопросы или вы хотите поделиться отзывом, свяжитесь с нами на Reddit. Выберите модель из таблицы ниже и нажмите «Получить команду llama.cpp», чтобы получить готовую к запуску команду со всеми правильными параметрами выборки для этой модели. Вы также можете скопировать тег модели из таблицы и использовать его напрямую: после запуска llama-сервера вы сможете получить доступ к веб-интерфейсу по адресу http://localhost:. На диаграмме ниже показано соотношение качества и количества токенов в секунду (TPS), измеренное на RTX 4090. Качество измеряется в двух тестах: LiveCodeBench V6 и MultiPL-E HumanEval, оба в режиме мышления, нормализованном базовой моделью BF16. Правило выбора: выберите модель с наивысшим качеством при целевой пропускной способности или самую быструю модель, которая по-прежнему соответствует требуемому качеству. Интерактивные графики для RTX 4090, 4080, 5060Ti и 5090 доступны здесь. Таблица отсортирована по размеру модели (соответствуйте номерам диаграммы идентификаторам моделей): ярлыки, которые вы…

Модальности:
Генерация текста

Области применения:
Диалог / чат Генерация кода


Задача: Генерация текста
Автор: byteshape
Теги: gguf, agent, cohere, byteshape, endpoints_compatible, conversational
Лайков: 6  |  Загрузок: 2,338

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.