Этот репозиторий содержит вариант GSAI-ML/LLaDA-8B-Instruct, доработанный компанией Proximile LLC для расширения возможностей вызова инструментов модели. Proximile специализируется на безопасных локальных решениях искусственного интеллекта для малого и среднего бизнеса. — 14 мая 2025 г. – первый публичный выпуск. В обучающих примерах отсутствовали жетоны блокнота, заполняющие остальную часть окна генерации. — 17 мая 2025 г. — исправлен сценарий обучения, включающий правильные отступы; обновленные веса моделей отправлены в этот репозиторий. — 20 мая 2025 г. – Google объявляет о Gemini Diffusion. LLaDA (Large Language Diffusion with mAsking) — это новая архитектура языковой модели, которая использует дискретную диффузию для генерации текста. В отличие от традиционных моделей авторегрессии, LLaDA генерирует текст посредством итеративного процесса шумоподавления, постепенно заменяя токены маски прогнозируемыми токенами на основе оценок достоверности. Эта объединенная модель LoRA была обучена для улучшения способности LLaDA выполнять задачи вызова инструментов, включая: — Генерацию правильного JSON для вызова инструмента — Обработку данных ответа инструмента — Предоставление полезных ответов на основе выходных данных инструмента — Базовая модель: GSAI-ML/LLaDA-8B-Instruct — Метод обучения: контролируемая точная настройка (SFT) с LoRA — LoRA…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: Proximile
Теги: llada, feature-extraction, tool-calling, lora, peft, function-calling, tools, chatbot
Лайков: 12 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
