Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Это репозиторий в формате float16 HF для джунэли Wizard-vicuna 13B. Репозиторий Джун Ли также был в формате HF. Причина, по которой я это сделал, заключается в том, что исходный репозиторий был в формате float32, а это означает, что для него требовалось 52 ГБ дискового пространства, видеопамяти и оперативной памяти. Эта модель была преобразована в float16, чтобы упростить ее загрузку и управление. 4-битные модели GPTQ для вывода графического процессора. 4-битные и 5-битные модели GGML для вывода ЦП. * Модель формата float16 HF для вывода графического процессора. Для получения дополнительной поддержки и обсуждений этих моделей и искусственного интеллекта в целом присоединяйтесь к нам: Многие люди спрашивали, могут ли они внести свой вклад. Мне нравится предоставлять модели и помогать людям, и я хотел бы иметь возможность уделять этому еще больше времени, а также заниматься новыми проектами, такими как точная настройка/обучение. Если вы можете и желаете внести свой вклад, он будет принят с большой благодарностью и поможет мне продолжать предоставлять больше моделей и начать работу над новыми проектами искусственного интеллекта. Жертвователи получат приоритетную поддержку по любым вопросам и запросам по AI/LLM/моделям, доступ к частной комнате Discord, а также…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, custom_code, text-generation-inference, 4-bit, gptq
Лайков: 7 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
