Каждая ветвь содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Исходная модель: https://huggingface.co/cognitivecomputations/dolphin-2.6-mistral-7b-dpo. Все требования к VRAM рассчитаны на основе контекста 16 КБ. Для контекста 32k добавьте ~2 ГБ. Чтобы загрузить основную ветку (полезно только в том случае, если вас интересует только файл Measure.json) в папку dolphin-2.6-mistral-7b-dpo-exl2: Чтобы загрузить из другой ветки, добавьте параметр —revision:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bartowski
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
