Rookie/Llama-3-8B-Instruct-Chinese

Светлячок — https://github.com/yangjianxin1/Firefly — LLaMA-Factory — https://github.com/hiyouga/LLaMA-Factory.git класс TransformerBlock(nn.Module): def init(self, dmodel, nheads, dropout=0.1): super(TransformerBlock, self).init() self.selfattn = MultiHeadAttention(dmodel, nheads) self.feedforward = nn.Linear(dmodel, dmodel) self.dropout = nn.Dropout(dropout) остаток = x вывод = self.self_attn(x, x) вывод += остаточный вывод = self.dropout(output) остаток = вывод вывод = self.feed_forward(output) вывод += выход остатка = self.dropout(output) class MultiHeadAttention(nn.Module): def init(self, dmodel, nheads): super(MultiHeadAttention, self).init() self.dmodel = dmodel self.nheads = nheads self.querylinear = nn.Linear(dmodel, dmodel) self.keylinear = nn.Linear(dmodel, dmodel) self.valuelinear = nn.Linear(dmodel, d_model) self.dropout = nn.Dropout(0.1) def forward(self, query, key, value): Batchsize = query.size(0) headdim = self.dmodel // запрос self.nheads = self.querylinear(query).view(batchsize, -1, self.nheads, headdim) key = self.keylinear(key).view(batchsize, -1, self.nheads, headdim) value = self.valuelinear(value).view(batchsize,…

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: Rookie
Теги: gguf, llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 35  |  Загрузок: 346

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.