Я новичок в загрузке моделей. Я думаю, что допустил ошибку, когда загрузил свою модель из unsloth. Я загрузил 4-битную версию, затем сохранил в 16-битную, поэтому работает Лора, а не сама модель. Я переобучу это и загружу новые файлы как можно скорее. Я обучал это на этом наборе данных — https://huggingface.co/datasets/mahiatlinux/Reflection-Dataset-v2. Обучался в течение одной полной эпохи. Здесь следует использовать те же подсказки и формат, что и в модели 70b: я не беру на себя ответственность за оригинальную работу. Я обучил ламу 3.1 8b только на наборе данных @mahiatlinux, используя оригинальную концепцию и идею @mattshumer python из unsloth import FastLanguageModel import torch из Transformers import TextStreamer из unsloth import isbfloat16_supported alpaca_prompt = «»»Вы — система искусственного интеллекта мирового класса, способная к сложным рассуждениям и размышлениям. Делайте выводы с помощью запроса внутри тегов, а затем предоставляйте окончательный ответ внутри тегов. Если вы обнаружите, что допустили ошибку в своих рассуждениях, исправьте себя внутри тегов. dtype = torch.bfloat16 if isbfloat16supported() else torch.float16 model, tokenizer = FastLanguageModel.frompretrained( modelname=»loramodel», # Замените фактическим путем, по которому вы сохранили…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: terrycraddock
Теги: gguf, llama, unsloth, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 611
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
