Во время обучения использовалась следующая конфигурация квантования битов и байтов: — quantmethod: QuantizationMethod.BITSANDBYTES — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcompute_dtype: bfloat16 Llama 2 представляет собой набор предварительно обученных и точно настроенных генеративных текстовых моделей с масштабом от 7 до 70 миллиардов параметров. Это репозиторий предварительно обученной модели 7B, преобразованной в формат Hugging Face Transformers. Ссылки на другие модели можно найти в указателе внизу. Meta разработала и публично выпустила семейство больших языковых моделей (LLM) Llama 2 — коллекцию предварительно обученных и точно настроенных генеративных текстовых моделей с масштабом от 7 до 70 миллиардов параметров. Наши доработанные LLM, называемые Llama-2-Chat, оптимизированы для сценариев использования диалога. Модели Llama-2-Chat превосходят модели чата с открытым исходным кодом по большинству протестированных нами тестов, а по нашим человеческим оценкам полезности и безопасности находятся на одном уровне с некоторыми популярными моделями чата с закрытым исходным кодом, такими как ChatGPT и PaLM. Вариации Llama 2 входят…
Модальности:
Генерация текста
Области применения:
Медицина Диалог / чат
Задача: Генерация текста
Автор: kurugai
Теги: medical, ko
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
