Arsh-llm — это языковая модель с 500 миллионами параметров, построенная на архитектуре Llama и предназначенная для создания творческих историй, связного текста и функционального кода. Эта модель, предварительно обученная в течение 35 часов на графическом процессоре T4 с использованием тщательно подобранного набора небольших, но мощных наборов данных и настроенная в течение 20 часов на диалоговых данных, представляет собой компактную, мощную машину для генерации текста с огромным потенциалом. С потерями в обучении от 1,2 до 1,9 он уже подает надежды и готов повысить уровень за счет дополнительных тренировок. Пристегнитесь – это только начало! 😎 — Архитектура: модель причинного языка на основе ламы — Параметры: 500M — Длина контекста: 128 токенов — Продолжительность предварительного обучения: ~35 часов на графическом процессоре NVIDIA T4 — Продолжительность точной настройки: ~20 часов на диалоговых наборах данных — Потери при обучении: 1,2–1,9 (есть возможности для улучшения!) — Библиотека: Трансформеры (обнимающее лицо) — Лицензия: MIT Arsh-llm обучался на разнообразный набор наборов данных для обеспечения универсальности повествования, генерации текста и выполнения задач, связанных с кодом: — roneneldan/TinyStories: короткие творческие истории для создания повествования. — Salesforce/wikitext: текст на основе Википедии, обеспечивающий общие знания и связность. — abhinand/alpaca-gpt4-sharegpt: На основе инструкций…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Arsh-ai
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 95
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
