Это модель ВЧ-чата llama2 7B, настроенная на инструкции кода 122k. В моих ранних экспериментах дела обстояли очень хорошо. Это низшая модель 😂 но после квантования она наверняка может оказаться ценной. Это определенно доказывает, что 7B может быть полезен для шаблонного кода. next_steps: «У меня есть кое-что на уме, и после этого это будет более ценно». — имя: «Я проквантую это» временная шкала: «Возможно, сегодня вечером или завтра днем» результат: «Тогда его можно будет запустить локально с оперативной памятью 4G». — name: «Я использовал настройку инструкций в стиле альпаки» улучшение: | Я переключусь на стиль llama2 [INST] и посмотрю, улучшится ли он что-нибудь. — имя: «Отчет HumanEval и проверка на наличие утечек обучающих данных» — попытка: «Я попробую контекст 8k посредством улучшения RoPE» гипотеза: «Давайте посмотрим, ухудшит ли это производительность или нет». коммерческое использование: | Пока я думаю, что его можно использовать в коммерческих целях, но это адаптер для Meta llama2 с некоторыми проблемами со стробированием, так что они есть. контактная информация: «Если вы обнаружите какие-либо проблемы или захотите просто покричать на меня, вы можете связаться со мной — https://twitter.com/4evaBehindSOTA» quantizationconfig: loadin8bit: False loadin4bit: True llmint8threshold: 6.0…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: TokenBender
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 68 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
