Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon Эти файлы являются результатом объединения дельта-весов с исходной моделью Llama7B. Код для слияния доступен в официальном репозитории WizardLM на Github. Исходные дельты WizardLM находятся в формате float32, в результате чего создается репозиторий HF, который также имеет формат float32 и намного больше, чем обычная модель 7B Llama. Поэтому для этого репозитория я преобразовал объединенную модель в float16, чтобы создать модель стандартного размера 7B. Это было достигнуто путем запуска model = model.half() перед сохранением. Этот репозиторий содержит полные файлы неквантованной модели в формате HF для вывода на графическом процессоре и в качестве основы для квантования/преобразования. 4-битные модели GGML для вывода CPU. 4-битные модели GPTQ для вывода GPU. Для получения дополнительной поддержки и обсуждений этих моделей и искусственного интеллекта в целом присоединяйтесь к нам по адресу: Многие люди спрашивали, могут ли они внести свой вклад. Мне нравится предоставлять модели и помогать людям, и я хотел бы иметь возможность уделять этому еще больше времени, а также заниматься новыми проектами, такими как точная настройка/обучение. Если вы можете и хотите внести свой вклад, он будет принят с большой благодарностью и поможет мне продолжать предоставлять больше моделей…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 95 | Загрузок: 967
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
