Collective Cognition v1 — это модель Mistral, настроенная с использованием всего 100 чатов GPT-4, опубликованных в Collective Cognition. — Быстрое обучение: эта модель была обучена всего за 3 минуты на одном 4090 с qlora и конкурирует с моделями Llama-2 в масштабе 70B на TruthfulQA. — Ограниченные данные: несмотря на исключительную производительность, он был обучен только на СТО точках данных, все из которых были собраны с помощью Collective Cognition, платформы, напоминающей ShareGPT. — Экстремальный тест TruthfulQA: модели коллективного познания сильно конкурируют с лучшими моделями 70B в тесте TruthfulQA, несмотря на небольшой набор данных и обучение qlora! Особая благодарность @a16z и всем участникам набора данных коллективного познания за то, что сделали возможной разработку этой модели. Модель была обучена с использованием данных с сайта Collective Cognition. Эффективность этого набора данных демонстрируется великолепной производительностью модели, что позволяет предположить, что дальнейшее расширение этого набора данных может дать еще более многообещающие результаты. Данные напоминают данные, собранные с таких платформ, как ShareGPT. Вы можете внести свой вклад в расширение набора данных, поделившись здесь своими чатами ChatGPT. Вы можете скачать наборы данных…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: teknium
Теги: mistral, mistral-7b, instruct, finetune, gpt4, synthetic data, distillation, sharegpt
Лайков: 17 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
