Название модели AI: Llama 3 70B «Построено с помощью Meta Llama 3» https://llama.meta.com/llama3/license/ Я попробовал EXL2, AutoAWQ и SqueezeLLM, и все они потерпели неудачу по разным причинам (открылись проблемы). Я арендовал экземпляр с 4 графическими процессорами и 1 ТБ ОЗУ (19 долларов США в час) на runpod с контейнером 1024 ГБ и дисковым пространством на 1024 ГБ. Я думаю, вам нужно только 2 графических процессора с 80 ГБ видеопамяти и более 512 ГБ системной памяти, поэтому, вероятно, вы переплатили. Обратите внимание, что вам необходимо заполнить форму, чтобы получить доступ к мета-весам 70B. Вы можете скопировать/вставить это в консоль, и все настроится автоматически:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: catid
Теги: llama, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
