ВНИМАНИЕ: НФВ. Яркая проза. ИНТЕНСИВНЫЙ. Интуитивные детали. УЖАС. Ругаясь. БЕЗ ЦЕНЗУРЫ… юмор, романтика, веселье. Высокоточная модель M.O.E с плавающей запятой 32, квантованная с плавающей запятой 32, а также с дополнительными улучшенными и дополненными квантовыми числами. Даже Q2k (самый маленький квант) «горит ярко» за счет типа модели MOE, передачи float 32 и увеличения квантов. 3 примера ниже (всего 9 поколений). Это модель Llama3, максимальный контекст 8 КБ (8192), с использованием группы экспертов для объединения ЧЕТЫРЕХ лучших моделей Llama3 8B в одну огромную электростанцию с параметрами 24,9B (что соответствует 32B — 4 X 8B). Эта версия «Enhanced32» представляет собой объединение с точностью «float 32» для более высокого качества и производительности. Если бы стандартным источником было «HD», float32 было бы «UHD». Суть заключается в гораздо более сильной модели, большей детализации, большем нюансов, большей глубине… и более строгом следовании инструкциям. Кроме того, существуют специализированные переработанные кванты с компонентами с плавающей запятой 32 в самих квантах (подробно ниже). Это позволяет вам выбирать между стандартными (но также полученными из исходного кода с плавающей запятой 32) и «расширенными квантовыми числами» для еще более высокого качества. Главный файл 32 бита / с плавающей запятой 32 имеет размер 100 ГБ (исходные файлы будут вскоре загружены в отдельный репозиторий). Эта модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, mixture of experts, moe, 4x8B, 32 bit enhanced, float 32 quants, llama-3, llama3
Лайков: 41 | Загрузок: 1,196
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
