300-метровая параметрическая языковая модель с современными улучшениями архитектуры, разработанная Mistyoz AI. Самый простой способ общения с CosmicFish — использовать наш скрипт chat.py: скрипт chat.py обрабатывает загрузку, генерацию моделей и обеспечивает лучший опыт общения в чате с потоковой передачей в реальном времени, штрафом за повторение и командами разговора. — Parameters: 369M — Architecture: CosmicFish (RoPE, GQA, SwiGLU, RMSNorm) — Context Length: 2048 tokens — Vocabulary: 50,257 tokens — Training Data: CosmicSet 2.0 — Developer: Mistyoz AI — Repository: MistyozAI/CosmicFish-300M — Format: Safetensors CosmicFish uses several modern improvements over standard transformers: — RoPE (Rotary Position Embeddings): Better position encoding than absolute positions — GQA (Grouped-Query Attention): Reducates memory usage with 4 query group
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MistyozAI
Теги: cosmicfish, language-model, causal-lm, 300m, transformer, rope, gqa, swiglu
Лайков: 3 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
