AstroSage-Llama-3.1-8B-GGUF — это квантованная версия AstroSage-Llama-3.1-8B, оптимизированная для эффективного развертывания при сохранении специализированных возможностей модели в астрономии, астрофизике и космологии. Эта квантованная версия призвана обеспечить более доступный вариант развертывания при сохранении возможностей модели. — Базовая архитектура: Meta-Llama-3.1-8B — Базовая модель: AstroSage-Llama-3.1-8B — Параметры: 8 миллиардов — Квантование: формат GGUF с двумя вариантами точности — Тренинг Фокус: астрономия, астрофизика, космология и астрономическое приборостроение — Лицензия: Llama 3.1 Community License — Процесс разработки: 1. На основе полностью обученной модели AstroSage-Llama-3.1-8B 2. Квантование в формат GGUF в двух версиях 3. Оптимизировано для эффективного вывода Для Macbook с Apple Silicon установите llama-cpp со следующим: — nctx: размер контекстного окна (по умолчанию: 2048) — nthreads: количество используемых потоков процессора (настраивается в зависимости от вашего оборудования) — температура: контролирует случайность — topp: параметр выборки ядра — topk: ограничивает выбор словаря — repeatpenalty: предотвращает повторение — maxtokens: максимальная длина ответа (128 по умолчанию, увеличение для более длинных ответов)…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AstroMLab
Теги: gguf, llama-3.1, astronomy, astrophysics, cosmology, quantized, en, endpoints_compatible
Лайков: 4 | Загрузок: 53
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
