В этом репозитории размещена небольшая языковая модель, разработанная как часть платформы TinyLLM ([ссылка arxiv]). Эти модели специально разработаны и настроены с учетом данных датчиков для поддержки встроенных сенсорных приложений. Они позволяют использовать локально размещенные языковые модели на устройствах с низкой вычислительной мощностью, таких как одноплатные компьютеры. Модели, основанные на архитектуре GPT-2, обучаются с использованием графических процессоров Nvidia H100. В этом репозитории представлены базовые модели, которые можно дополнительно настроить для конкретных последующих задач, связанных со встроенными датчиками. — Параметры: 30M (скрытый размер = 384) — Архитектура: преобразователь только для декодера — Данные обучения: до 10 млрд токенов из наборов данных SHL и Fineweb, объединенные в соотношении 4:6 — Модальность ввода и вывода: текст — Длина контекста: 1024 Мы хотим выразить признательность платформам с открытым исходным кодом llm.c и llama.cpp, а также набору данных датчиков, предоставленному SHL, которые сыграли важную роль в обучении и тестировании. эти модели. Модель можно использовать двумя основными способами: 1. С помощью библиотеки трансформеров Hugging Face. 2. С помощью llama.cpp. Создайте файл модели GGUF с помощью этого инструмента и используйте сгенерированный файл GGUF для вывода.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: weiser
Теги: gpt2, IoT, sensor, embedded, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
