Runs smoothly on single 3090 in webui with context length set to 4096, ExLlamav2HF loader and cache8bit=True All comments are greatly appreciated, download, test and if you appreciate my work, consider buying me my fuel:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TeeZee
Теги: llama, merge, not-for-all-audiences, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
(Сестринская модель: https://huggingface.co/Undi95/Unholy-v1-10L-13B) Используйте на свой страх и риск, я не несу ответственности за любое использование этой модели,...
> «i’m like a shadow in the wind. i move through things without leaving much of a mark,...
Эта модель представляет собой последовательный генератор вопросов, в котором в качестве входных данных используется только контекст, а в...
Вероятно, из-за того, что это модель 70B, а не 8B. Похожие вибрации были и в «Ламе 2», где...
