Обучение с использованием компьютеров Backyard.ai | Спасибо им и @dynafire за помощь. Примечания: — Я заметил, что у людей были проблемы с квантованием. Будь то GGUF или другие, с разрядностью 8 бит или меньше. Какая-то странная проблема? Во время тестирования у меня практически не было проблем. — Немного отличаются результаты от базового Fimbulvetr-v2, но в ходе моих тестов они достаточно схожи. Вибрации все еще здесь. — Проблемы с форматированием случаются редко. Иногда. Реролл/регенерат исправляет это из тестов. — Я получаю последовательные и надежные ответы в контексте примерно 11 тысяч. — Однако по-прежнему когерентен при разрешении до 16K! Просто работает не так хорошо. Я рекомендую придерживаться контекста 12 КБ, но загружать модель с разрешением 16 КБ для вывода. Он имеет действительно точный контекст до 10 КБ, полученный из множества различных расширенных тестов с длинным контекстом. 16К отлично подходит для ролевых игр, но не для более детальных задач. Результаты тестирования Red Needle in Haystack для этого конкретного варианта обычно возникают из-за странных артефактов результатов, таких как модель, отвечающая на часть ключа или дополнительные комментарии. В принципе, результат получили, но он неполный или там что-то дополнительно взято. Что-то вроде «3211» или «3211 и» вместо «321142». Странный. Вот почему это последовательно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Sao10K
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 273
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
