Версия модели Mistral 7B, совместимая с Huggingface: https://twitter.com/MistralAI/status/1706877320844509405 Оригинальный скрипт преобразования Huggingface преобразует модель из bf16 в fp16 перед ее сохранением. В этом скрипте нет. Токенизатор создан с параметром Legacy=False, подробнее об этом здесь * Сохранено в формате защитных тензоров. В отличие от мета-ламы/Llama-2-7b, эта модель использует GQA. Это нарушает некоторые предположения исходного сценария преобразования и требует внесения некоторых изменений.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kittn
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 223
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.