PicoMistral-23M — это сверхкомпактная языковая модель «пико-размера», обученная с нуля компанией Pico-Kittens. Он предназначен для работы на чрезвычайно слабом оборудовании или периферийных устройствах, где стандартные LLM не могут работать. — Разработано: Pico-Kittens — Тип модели: причинно-языковая модель на основе Mistral — Статус обучения: Обучение с нуля (не точная настройка) — Параметры: ~23 миллиона — Язык(и): английский — Лицензия: apache-2.0 Модель была обучена на первых 120 000 образцах набора данных HuggingFaceH4/ultrachat_200k. Целью этого тренинга было охватить разговорную структуру и базовую английскую грамматику при минимальном бюджете параметров. ПикоМистраль-23М — экспериментальная модель. Хотя это демонстрирует, что модель 23M может сохранять грамматическую структуру, пользователи должны знать следующее: Грамматика: Высокая компетентность; он создает хорошо структурированные и грамматически правильные английские предложения. Семантический дрейф: из-за своего небольшого размера модель часто теряет «нить» разговора или неожиданно меняет тему. Галлюцинации: высокие. Он будет уверенно констатировать неверные факты или выдумывать данные. Распознавание намерений: ограничено. Он может испытывать трудности со сложными инструкциями, но может выполнять базовые…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: PicoKittens
Теги: mistral, tiny, pico, scratch, en
Лайков: 12 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
