> [!ВАЖНО] > Эта модель представляет собой базовую предварительно обученную модель, которая требует дальнейшей точной настройки для большинства случаев использования. > Для более интерактивного взаимодействия мы > рекомендуем tensoropera/Fox-1-1.6B-Instruct-v0.1, версию Fox-1, настроенную на основе инструкций. Fox-1 — это модель малого языка (SLM) на основе преобразователя, предназначенная только для декодера, с общим количеством параметров 1,6 млрд, разработанная TensorOpera AI. Модель была обучена с помощью трехэтапной программы обработки данных на 3 триллионах токенов текстовых и кодовых данных длиной последовательности 8 КБ. Fox-1 использует внимание к групповым запросам (GQA) с 4 головками «ключ-значение» и 16 головками внимания для более быстрого вывода. Для получения полной информации об этой модели прочтите технический отчет Fox-1 и публикацию в блоге. Мы оценивали Fox-1 на ARC Challenge (25 кадров), HellaSwag (10 кадров), TruthfulQA (0 кадров), MMLU (5 кадров), Winogrande (5 кадров) и GSM8k (5 кадров). Мы следуем настройке оценки Open LLM Leaderboard и сообщаем средний балл по 6 критериям. Модель оценивалась на машине с 8 графическими процессорами H100.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tensoropera
Теги: llama, conversational, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 92
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
