talkie-1930-13b-it-q5 представляет собой экспериментальную сборку Q50 GGUF, полученную из talkie-lm/talkie-1930-13b-it`. Это потребительский ориентированный на GPU артефакт для запуска Talkie локально через исправленную среду выполнения llama.cpp. Он еще не совместим с Stock llama.cpp или Stock LM Studio, потому что Talkie использует пользовательскую архитектуру. Используйте сопутствующий репозиторий GitHub для приложения Node, исправленной среды выполнения llama.cpp, скриптов сборки и примечаний к выпуску: репозиторий включает экспериментальную сборку Linux CUDA и macOS Metal, но эти порты были разработаны вслепую с помощью GPT-5.5 и еще не были протестированы сопровождающим. Требуется среда выполнения Talkie-aware llama.cpp с поддержкой пользовательских блоков Talkie, сопоставления тензоров, тензоров QK norm/gain и поведения RMSNorm epsilon. 1. Начните с Talkie 1930 13B IT. 2. Обучите и выберите небольшой локальный адаптер для полировки LoRA. 3. Объедините адаптер в контрольно-пропускной пункт BF16. 4. Преобразование объединенной контрольной точки в Talkie GGUF. 5. Количественно оцените GGUF до Q5_0. 6. Проверить с помощью исправленного файла llama.cpp с разгрузкой CPU/GPU. — Требуется экспериментальное исправление во время выполнения. — Пока нет стоковой модели LM Studio. — Может привести к правдоподобным, но ошибочным историческим утверждениям. — Может изобретать личные данные…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sol-wy
Теги: gguf, talkie, q5_0, local-llm, experimental, en, endpoints_compatible, conversational
Лайков: 4 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
