— Реквантован для нового выпуска от 03.05.2024. — Обновлены последние исправления предварительного токенизатора bpe https://github.com/ggerganov/llama.cpp/pull/6920 — квантования выполняются с использованием матрицы важности для уменьшения потерь при квантовании — кванты K и IQ практически во всех вариантах от Q6K до IQ1S — фиксированный конечный токен для режима инструкций ([128009]) — квантование с помощью коммита llama.cpp f4ab2a41476600a98067a9474ea8f9e6db41bcfa (основной от 29 апреля 2024 г.) — Imatrtix создан с использованием этого набора данных. Для новейших квантов, загруженных сюда, требуется как минимум коммит f4ab2a41476600a98067a9474ea8f9e6db41bcfa, он еще не интегрирован в большинство вышестоящих инструментов, поскольку был только что выпущен. (29-04-24) Gradient объединяет ваши данные для развертывания автономных помощников, которые обеспечивают выполнение критически важных операций в вашем бизнесе. Если вы хотите создавать собственные модели или агенты ИИ, напишите нам по адресу contact@gradient.ai. Эта модель расширяет длину контекста LLama-3 8B с 8 КБ до > 1040 КБ, разработанная компанией Gradient при финансовой поддержке вычислительной компании Crusoe Energy. Это демонстрирует, что специалисты SOTA LLM могут научиться работать в длинном контексте с минимальной подготовкой, соответствующим образом корректируя тету RoPE. На этом этапе мы обучили 830 миллионов токенов, а всего на всех этапах — 1,4 миллиарда токенов…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: qwp4w3hyb
Теги: gguf, llama, meta, llama-3, imatrix, importance matrix, en, endpoints_compatible
Лайков: 6 | Загрузок: 262
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
