Эта модель представляет собой квантованную GPTQ версию модели Codestral-22B-v0.1 с исправлением FIM, предназначенную для обеспечения улучшенной производительности и эффективности. Исходная модель Codestral-22B-v0.1 содержала ошибку токенизации для варианта использования FIM, которая была устранена моделью legraphista/Codestral-22B-v0.1-hf-FIM-fix. Эта квантованная модель GPTQ основана на фиксированной модели, используя аргументы AutoGPTQ по умолчанию и 4 бита на вес. При использовании этой модели или любой другой модели Codestral-22B-v0.1 для завершения кода в VSCode в Windows для достижения лучших результатов обязательно используйте LF (перевод строки) вместо CRLF (перевод строки с возвратом каретки). Это предотвратит появление несвязанных символов ‘\’ в завершениях.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ArthurGprog
Теги: mistral, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
