Вычислительная инфраструктура Эта модель может обслуживаться графическим процессором с объемом видеопамяти не менее 8 ГБ. 1.5 Pints — это большая языковая модель, которая значительно повышает эффективность обучения LLM, уделяя особое внимание качеству данных, а не количеству. Наш корпус предварительного обучения представляет собой тщательно подобранный набор данных из 57 миллиардов токенов, что делает предварительное обучение более доступным и экологически чистым. MTBench MTBench — это популярная программа оценки, которая использует сильные LLM, такие как GPT-4, в качестве судей и оценки качества ответов моделей. Версию 1.5-Pints с контекстным окном размером 16 КБ можно найти здесь. Архитектура Модель авторегрессии Llama 2 с контекстным окном 2K и токенизатором Mistral. Модель использует точность Float32. Длина контекста 1,5-Pints поставляется в двух вариантах длины контекста — 16 КБ (16 384) и 2 КБ (2 048). Шаблон подсказки Эта модель была точно настроена и оптимизирована с использованием шаблона ChatML. Прямое использование Эта модель призвана стать эффективным и легко настраиваемым полезным помощником. Он предназначен для того, чтобы преуспеть в помощи пользователю и аргументации, а также меньше полагаться на внутренние знания и факты. Таким образом, для целей поиска знаний его следует использовать с поисковым расширенным поколением. Последующее использование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: pints-ai
Теги: llama, conversational, en, model-index
Лайков: 17 | Загрузок: 139
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
