PULI-HuBA 130M — это одноязычная венгерская модель фундамента, основанная на конфигурации Mamba. (https://huggingface.co/state-spaces/mamba-130m-hf) Параметры: MambaForCausalLM ( (backbone): MambaModel ( (embeddings): Embedding(52000, 768) (layers): ModuleList ( (0-23): 24 x MambaBlock ( (norm): MambaRMSNorm (768, eps= 1e-05) (mixer): MambaMixer ( (conv1d): Conv1d (1536, 1536, kernelsize =(4,), stride=(1,), padding=(3,), groups=1536) (act): SiLU () (inproj): Linear(infeatures =768, outfeatures =3072, bias=False) (xproj): Linear(infeatures =1536, outfeatures =80, bias=False) (dtproj): Лицензия: Apache 2.0 Оборудование: 4 графических процессора NVIDIA A100 (80 ГБ) Год обучения: 2024 Ввод/вывод: Только текст Количество параметров: 130 миллионов Доступный размер модели: Один вариант Тип данных: float32 Размер партии: 10 на графический процессор Скорость обучения: 3e-4 Справочная информация: проблема GitHub Потенциал для предвзятого, неправильного,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NYTK
Теги: mamba, Transformers, hu
Лайков: 3 | Загрузок: 64
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
