Это 1,58-битный троичный LLM, веса которого состоят из {-1, 0, +1}. Он оптимизирован для производительности процессора благодаря формату квантования Q2KS. — Создатель модели: SpectraSuite — Исходная модель: TriLMs-Unpacked Этот репозиторий упаковывает и распространяет TriLM в виде исполняемых файлов, которые мы называем llamafiles. Файлы, которые вы загружаете здесь, будут работать в Linux, MacOS, Windows, FreeBSD, OpenBSD и NetBSD для AMD64 и ARM64. Выполнение следующих действий в настольной ОС приведет к открытию вкладки в вашем веб-браузере с интерфейсом завершения. Это базовая модель. Он не был настроен для чата. Рекомендуется использовать интерфейс завершения. Для меньших моделей TriLM (например, 99M) рекомендуется установить высокий штраф за повторение, например —repeat-penalty 10. При использовании режима CLI этот флаг указывается по умолчанию в файле .args, встроенном в файлы llamafiles из этого репозитория. llamafile — это новый формат, представленный Mozilla Ocho 20 ноября 2023 года. Он использует Cosmopolitan Libc для преобразования весов LLM в работоспособные двоичные файлы llama.cpp, которые работают на стандартных установках шести операционных систем для ARM64 и AMD64. TriLM (троичная модель), распакованная в формат FP16, совместимая с GEMM FP16. После…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mozilla-ai
Теги: llamafile, en
Лайков: 19 | Загрузок: 228
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
