4-битное GPTQ-квантование talkie-lm/talkie-1930-13b-base — «винтажной» языковой модели 13B, обученной на 260B токенах англоязычного текста до 1931 года Алеком Рэдфордом, Ником Левином и Дэвидом Дювено. Это квантование уменьшает размер модели с 24,7 ГБ (bf16) до ~7,4 ГБ (int4), что позволяет ей удобно разместиться на одном потребительском графическом процессоре емкостью 16 ГБ (класс RTX 4080/5080) с местом для активаций и кэшем KV. Вам необходимо: — gptqmodel >= 6.0.3 — Transformers >= 5.4 — Torch >= 2.8 с CUDA 12.x (Blackwell/sm_120 поддерживается через ядра Triton). Калибровочный корпус был намеренно составлен из общедоступных работ, опубликованных до 1931 года (Толстой, Остин, Диккенс, Дойл, Твен, Мелвилл, Уайльд, Шелли), чтобы соответствовать временному распределению предтренировочных данных звукового кино. Современный текст калибровки внес бы систематическое смещение распределения против обучающего распределения модели. — Видеопамять: ~7,6 ГБ во время вывода (пиковая нагрузка, с коротким контекстом). Удобно помещается в графический процессор объемом 16 ГБ. — Резервный процессор ЦП: поддерживается ядром ЦП GPTQModel, но очень медленно. — Протестировано на: NVIDIA RTX 5080 (Blackwell, sm_120) под WSL2/Ubuntu 24.04/CUDA 12.8/PyTorch 2.11. Пропускная способность вывода на RTX 5080: ~10–14 токенов/сек…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: dtestnyrr
Теги: talkie, gptq, 4-bit, quantized, vintage-language-model, custom_code, en
Лайков: 8 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
