Этот репозиторий содержит исполняемые веса (которые мы называем llamafiles), которые работают в Linux, MacOS, Windows, FreeBSD, OpenBSD и NetBSD для AMD64 и ARM64. — Создатель модели: Meta. — Исходная модель: Meta-llama/Meta-Llama-3-70B-Instruct. Выполнение следующей команды в настольной ОС приведет к открытию вкладки в вашем веб-браузере с интерфейсом чат-бота. llamafile — это новый формат, представленный Mozilla Ocho 20 ноября 2023 года. Он использует Cosmopolitan Libc для преобразования весов LLM в работоспособные двоичные файлы llama.cpp, которые работают на стандартных установках шести операционных систем для ARM64 и AMD64. Файлы llamafile не только являются исполняемыми файлами, но и представляют собой zip-архивы. Каждый файл llamafile содержит файл GGUF, который можно извлечь с помощью команды unzip. Если вы хотите изменить или добавить файлы в свои llamafiles, то вместо традиционной команды zip следует использовать команду zipalign (распространяемую на github llamafile). 1. Поместится ли он в ОЗУ или ВОЗУ? 2. Ваш вариант использования — чтение (например, обобщение) или письмо (например, чат-бот)? 3. Файлы llama размером более 4,30 ГБ сложно запустить в Windows (см. «Подсказки»). Хорошие кванты записи (оценка скорости) — Q5KM и Q4_0. Генерация текста ограничена скоростью памяти, поэтому меньшие кванты помогают, но они…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: mozilla-ai
Теги: llamafile, llama, llama-3, en
Лайков: 37 | Загрузок: 264
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
