Этот репозиторий содержит исполняемые веса (которые мы называем llamafiles), которые работают в Linux, MacOS, Windows, FreeBSD, OpenBSD и NetBSD для AMD64 и ARM64. — Создатель модели: Microsoft. — Исходная модель: microsoft/Phi-3-mini-4k-instruct. Предполагая, что в вашей системе не менее 32 ГБ ОЗУ, вы можете попробовать запустить следующую команду, которая загрузит, объединит и выполнит модель. Кроме того, вы можете загрузить официальный исполняемый файл llamafile из Mozilla Ocho на GitHub, и в этом случае вы можете использовать llamafiles Mixtral в качестве простого файла данных о весах. llamafile — это новый формат, представленный Mozilla Ocho 20 ноября 2023 года. Он использует Cosmopolitan Libc для преобразования весов LLM в работоспособные двоичные файлы llama.cpp, которые работают на стандартных установках шести операционных систем для ARM64 и AMD64. Файлы llamafile не только являются исполняемыми файлами, но и представляют собой zip-архивы. Каждый файл llamafile содержит файл GGUF, который можно извлечь с помощью команды unzip. Если вы хотите изменить или добавить файлы в свои llamafiles, то вместо традиционной команды zip следует использовать команду zipalign (распространяемую на github llamafile). Ламамафайлы Phi-3 имеют лицензию Apache 2.0, поскольку часть программного обеспечения, использованного для их создания…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: mozilla-ai
Теги: llamafile, en
Лайков: 16 | Загрузок: 4,332
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
