Это 4-битная GPTQ-версия bertin-project/bertin-gpt-j-6B-alpaca. Как легко загрузить и использовать эту модель в text-generation-webui (руководство от TheBloke). Вот руководство по установке пользовательского интерфейса text-generation-webui: руководство. В разделе «Загрузить пользовательскую модель или LoRA» введите RedXeol/bertin-gpt-j-6B-alpaca-4bit-128g. В раскрывающемся списке «Модель» выберите только что загруженную модель: bertin-gpt-j-6B-alpaca-4bit-128g. Если вы видите ошибку в правом нижнем углу, не обращайте на нее внимания — это временно. Заполните параметры GPTQ справа: Bits = 4, Groupsize = 128, model_type = gptj. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста» и введите приглашение! Данные Набор данных представляет собой перевод на испанский язык файла alpacadatacleaned.json (чистая версия набора данных Alpaca, созданная в Стэнфорде) с использованием модели OpenAI gpt-3.5-turbo. Мы перевели, используя подсказку по всему образцу, а не по строкам, что привело к получению более связных кортежей (инструкция, ввод, вывод) и стоило около 60 долларов США. Этот набор данных нельзя использовать для создания моделей, которые каким-либо образом конкурируют с OpenAI. Точная настройка Для точной настройки модели BERTIN GPT-J-6B мы использовали код, доступный в ответвлении BERTIN mesh-transformer-jax, который предоставляет код…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RedXeol
Теги: gptj, Transformers, bertin-project/alpaca-spanish, PyTorch, alpaca, llm spanish, es, endpoints_compatible
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
