Anima LLM поддерживает длину входного токена 100 тыс. Он обучен на базе Llama2 7B, поэтому лицензия поддерживает коммерческое использование! Для обучения этой модели мы тщательно подготовили длинный набор данных для обучения контролю качества (от 30 до 100 тыс.). Мы также провели множество оптимизаций памяти, чтобы масштабировать ее до 100 000 токенов. Практически не существует набора оценочных данных, рассчитанного на 100 000 токенов. Поэтому мы разработали/подготовили некоторый набор данных для этой модели. Мы сравнили эту модель и несколько других государственных/частных моделей.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lyogavin
Теги: llama, llama2, 100k, 7b, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 31 | Загрузок: 1,090
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
