VeriUS LLM — это инструкция, основанная на большой языковой модели с поддержкой турецкого языка на основе llama3-8B. Набор обучающих данных: тщательно подобранный общий набор данных по инструкциям на турецком языке. #TrainingArguments PERDEVICEBATCHSIZE: 2 GRADIENTACCUMULATIONSTEPS: 4 WARMUPRATIO: 0.03 NUMEPOCHS: 2 LR: 0.000008 OPTIM: «adamw8bit» WEIGHTDECAY: 0.01 LRSCHEDULER_TYPE: «linear» БЕТА: 0.1 #PEFT Аргументы РАНГ: 128 ЦЕЛЕВЫЕ МОДУЛИ: — «qproj» — «kproj» — «vproj» — «oproj» — «gateproj» — «upproj» — «downproj» LORAALPHA: 256 LORADROPOUT: 0 BIAS: «none» GRADIENTCHECKPOINT: ‘unsloth’ USERSLORA: false Эта модель обучена с использованием Unsloth и использует его для быстрого вывода. Для установки Unsloth обратитесь к: https://github.com/unslothai/unsloth Ограничения и известные отклонения. Основная функция и применение: VeriUS LLM, авторегрессионная языковая модель, в первую очередь предназначена для прогнозирования следующего токена в текстовой строке. Хотя он часто используется для различных приложений, важно отметить, что он не подвергался обширному тестированию в реальных условиях. Его эффективность и надежность в различных сценариях остаются в значительной степени непроверенными. Понимание и генерация языка: базовая модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: VeriUs
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
