Независимая исследовательская лаборатория искусственного интеллекта, создающая безопасные и отказоустойчивые языковые модели, оптимизированные для сотрудничества человека и искусственного интеллекта. Atom V1 Preview 12B — это точно настроенная модель диалогового искусственного интеллекта, основанная на архитектуре Google Gemma 3 12B Instruct. Эта модель предназначена для работы в качестве партнера по совместному мышлению, специализирующегося на исследовательском диалоге, мозговом штурме, помощи в исследованиях и решении технических проблем, сохраняя при этом доступный и увлекательный стиль разговора. Эта 12-байтовая версия образа Atom является третьей версией Project Atom от VANTA Research, а также нашей крупнейшей моделью на сегодняшний день. Тип модели: мультимодальный преобразователь (текст + изображение). Базовая модель: google/gemma-3-12b-it. Метод обучения: точная настройка низкоранговой адаптации (LoRA). Лицензия: Gemma. Условия использования. Разработчик: VANTA. Язык исследования: английский. Параметры: 12 миллиардов. Скрытый размер: 3840. Заголовки внимания: 16 (8 головок с ключом-значением). Скрытые слои: 48. Контекстное окно: 131 072 токена — Скользящее окно: 1 024 токена — Размер FFN: 15 360 — Размер словаря: 262 208 токенов — Точность: FP16 В модели используется гибридный шаблон внимания со скользящим окном внимания и периодическими уровнями полного внимания (каждый 6-й уровень) для…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: vanta-research
Теги: gguf, gemma3, image-text-to-text, conversational, conversational-ai, collaboration, education, cognitive-architectures
Лайков: 7 | Загрузок: 84
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
