Trelis Tiny — это модель параметров 1.3B: — Возможность вызова функций. — Высокая скорость генерации токенов, как локальная, так и размещенная. > Файлы GGUF в настоящее время НЕ РАБОТАЮТ, вероятно, из-за проблем с квантованием. По состоянию на 22 февраля 2024 года эта проблема расследуется. Проблема открыта на Github здесь. Приобретите доступ к этой модели здесь. — Покупка включает доступ к будущим улучшениям модели Tiny, которые будут добавлены в этот репозиторий. Примечания по вызову функций: — Формат метаданных функции такой же, как и в OpenAI. — Модель подходит для коммерческого использования. — Модели GGUF доступны в 8-битном, 4-битном и 2-битном формате в ветке GGUF. — Для моделей Tiny объединяйте не более одного вызова функции за раз. > Внимание: эта модель построена на базовой модели DeepSeek Coder 1.3B и подвергалась только контролируемой тонкой настройке и тонкой настройке для вызова функций. При использовании модели требуется осторожность, поскольку она может привести к нежелательным результатам. Шаблон Runpod в один клик здесь. Вы должны добавить токен доступа HuggingFace Hub (HUGGINGFACEHUB_TOKEN) к переменным среды, поскольку это закрытая модель. Вы также можете вывести модель Trelis Tiny, используя файлы llama.cpp и gguf в ветке gguf. Полный…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: Trelis
Теги: llama, tiny llm, small llm, function-calling, function calling, GGUF, conversational, en
Лайков: 7 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
