— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Qwen1.5-8x7b-v0.1 MaziyarPanahi/Qwen1.5-8x7b-v0.1-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/Qwen1.5-8x7b-v0.1. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 4 — GradientaccumulationSteps: 2 — totaltrainbatchsize: 16 — totalevalbatchsize: 8 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 10 — num_epochs: 1 Спасибо TheBloke за подготовку замечательного README о том, как использовать модели GGUF: GGUF — это новый формат, представленный командой llama.cpp 21 августа 2023 года. Это замена GGML, который больше не поддерживается llama.cpp. Вот неполный список клиентов и библиотек, которые, как известно, поддерживают GGUF: llama.cpp. Исходный проект для GGUF. Предлагает CLI и опцию сервера. text-generation-webui, наиболее широко используемый веб-интерфейс со множеством функций и мощных расширений. Поддерживает ускорение графического процессора. KoboldCpp — полнофункциональный веб-интерфейс с ускорением графического процессора на всех платформах и архитектурах графического процессора. Особенно хорош для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MaziyarPanahi
Теги: gguf, mistral, quantized, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit
Лайков: 5 | Загрузок: 352
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
