のТрансформаторы は、TinySlime-1.1B-Chat-v1.0 をベースに、TinySlime-1.1B-Chat-v1.0 が作成した合成データを使用して微調整されたチャットモデルです。 このモデルは、スマートフォンや Mixtral-8x7B-Instruct-v0.1 NVIDIA Jetson などの組み込み環境で動かすことを想定して作成されました。 このモデルを使用するには、Hugging Faceライブラリをインストールする必要があります このモデルは、TinyLlama プロジェクトの成果に基づいて構築されました。NLP コミュニティへの貢献に感謝します。 また、このモデルの開発にあたり、Axolotl のサポートとツールを利用しました。 NLP コミュニティへの貢献に感謝します。...
2121-8/TinySlime-1.1B-v1.0 は、TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T をベースモデルとし、augmxnt/shisa-pretrain-en-ja-v1 の学習データを使用してトレーニングされたモデルです。本モデルは、5.5B のトークンで学習されました。 このモデルは、スマートフォン、NVIDIA Jetson などの組み込みで動かすことを想定し作成されました。 — ベースモデル: TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T — 学習データセット: augmxnt/shisa-pretrain-en-ja-v1 — 学習トークン: 55 億...
Each branch contains an individual bits per weight, with the main one containing only the meaurement.json for further...
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: hoangton Теги: gguf, mpt, custom_code, endpoints_compatibleЛайков: 3 | Загрузок:...
Модель базового языка 7B, предварительно обученная на тексте на хинди с размером контекста 8k. Веса инициализированы из модели...
This model is originally released under CC-BY-NC-SA-4.0, and the AWQ framework is MIT licensed. Original model can be...
Same as MPT-7B-8K but with gradient checkpointing so you can LORA/QLORA. Not tested yet. MPT-7B-8k is a decoder-style...
MPT-30B — это трансформатор в стиле декодера, предварительно обученный с нуля на токенах 1T английского текста и кода....
Speedup inference while reducing memory by 2x-4x using int8 inference in C++ on CPU or GPU. Checkpoint compatible...
This is a fine-tuned variant of MPT-7B, trained on the SAIL dataset (https://arxiv.org/abs/2305.15225). The preprocessed version can be...
