Этот репозиторий содержит исполняемые веса (которые мы называем llamafiles), которые работают в Linux, MacOS, Windows, FreeBSD, OpenBSD и NetBSD для AMD64 и ARM64. — Создатель модели: Meta. — Исходная модель: Meta-llama/Meta-Llama-3-8B-Instruct. Выполнение следующей команды в настольной ОС приведет к открытию вкладки в вашем веб-браузере с интерфейсом чат-бота. llamafile — это новый формат, представленный Mozilla Ocho 20 ноября 2023 года. Он использует Cosmopolitan Libc для преобразования весов LLM в работоспособные двоичные файлы llama.cpp, которые работают на стандартных установках шести операционных систем для ARM64 и AMD64. 1. Поместится ли он в ОЗУ или ВОЗУ? 2. Ваш вариант использования — чтение (например, обобщение) или письмо (например, чат-бот)? 3. Файлы llama размером более 4,30 ГБ сложно запустить в Windows (см. «Подсказки»). Хорошие кванты записи (оценка скорости) — Q5KM и Q4_0. Генерация текста ограничена скоростью памяти, поэтому меньшие кванты помогают, но они также заставляют LLM сильнее галлюцинировать. Хорошими квантовами для чтения (быстрая оценка скорости) являются BF16, F16, Q4 и Q8 (в порядке убывания от самого быстрого к самому медленному). Быстрая оценка ограничена скоростью вычислений (флопс), поэтому могут помочь более простые кванты. Компания Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3,…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: mozilla-ai
Теги: llamafile, llama, llama-3, en
Лайков: 52 | Загрузок: 2,100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
