Сборка LlamaCPP. Подробную информацию о сборке см. на странице https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md. Вычислительная инфраструктура Эта модель может обслуживаться графическим процессором с объемом видеопамяти не менее 8 ГБ. 1.5 Pints — это большая языковая модель, которая значительно повышает эффективность обучения LLM, уделяя особое внимание качеству данных, а не количеству. Наш корпус предварительного обучения представляет собой тщательно подобранный набор данных из 57 миллиардов токенов, что делает предварительное обучение более доступным и экологически чистым. MTBench MTBench — это популярная программа оценки, которая использует сильные LLM, такие как GPT-4, в качестве судей и оценки качества ответов моделей. Версию 1,5-Pints с контекстным окном 2K можно найти здесь. Архитектура Модель авторегрессии Llama 2 с контекстным окном 16 КБ и токенизатором Mistral. Модель использует точность Float32. Длина контекста 1,5-Pints поставляется в двух длинах контекста — 16 КБ (16 384) и 2 КБ (2 048). Шаблон подсказки Эта модель была точно настроена и оптимизирована с использованием шаблона ChatML. Прямое использование Эта модель призвана стать эффективным и легко настраиваемым полезным помощником. Он предназначен для того, чтобы преуспеть в помощи пользователю и рассуждениях, и меньше полагаться на внутренние знания и факты.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: pints-ai
Теги: gguf, llama, en, model-index, endpoints_compatible, conversational
Лайков: 5 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
