Quark-135m-Bilingual — это компактная двуязычная языковая модель, предназначенная для итальянского и английского языков, созданная компанией ThingsAI полностью с нуля. Он представляет собой второе поколение семейства моделей Quark, оснащенное специальным двуязычным токенизатором BPE и современной архитектурой-трансформером. Это базовая предварительно обученная модель. Для приложений чата доступна версия SFT (настраиваемая с помощью инструкций), обученная на двуязычных разговорных данных. Quark-135m имеет дизайн, вдохновленный SmolLM, оптимизированный для эффективности в небольших масштабах: Quark-135m v0.2 был предварительно обучен на 15,7 млрд токенов из тщательно подобранной двуязычной смеси: Quark-135m v0.2 использует специальный двуязычный токенизатор BPE (ThingAI/QuarkTokenizer), специально разработанный для итальянского и английского языков: — Словарь: 65 536 токенов — Тип: Кодирование парами байтов (BPE). Языки: сбалансированный итальянский + английский. Опубликовано: ThingAI/QuarkTokenizer. Quark использует специальную архитектуру. Чтобы загрузить и выполнить вывод: — Масштаб: при 135 млн параметров модель имеет ограниченные фактические знания и способность рассуждать — Галлюцинация: модель часто генерирует правдоподобную, но неверную информацию — Математика: не может надежно выполнять арифметические действия, кроме простых операций — Код: генерирует…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ThingAI
Теги: quark, causal-lm, bilingual, italian, english, small-language-model, trained-from-scratch, conversational
Лайков: 5 | Загрузок: 238
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
