LLM-OS-Models/gemma-4-E4B-it-Terminal-SFT-Native-Liquid-1Epoch

터미널 작업 자동화를 위한 Terminal SFT 모델입니다. 입력된 작업/이전 터미널 상태를 보고 다음에 실행할 명령을 JSON 형태로 생성하는 용도로 학습했습니다. — Base model: google/gemma-4-E4B-it — Training setup: 1 epoch, Gemma native Liquid preprocessing — Evaluation snapshot: 2026-05-14 07:17:11 UTC — Evaluation result id: gemma4e4bitnativee1 — GitHub: https://github.com/LLM-OS-Models/Terminal — vLLM 평가 실행: tb2lite/scripts/replayeval.py — chat template/fallback 생성: tb2lite/scripts/promptbuilder.py — JSON/command 채점: tb2lite/scripts/replaymetrics.py vLLM 직접 실행 예시. 평가 코드와 동일하게 chat template을 우선 사용하고, template이 없으면 ChatML/Gemma fallback을 사용합니다. — 기본 권장 tensor parallel: 1. OOM이면 —tp와 tensorparallelsize를 2/4/8로 올리세요. — corrected TB2-lite 평가는 temperature=0.0, topp=1.0, maxtokens=1024로 고정했습니다. — Gemma 4는 JSON 출력을 위해 enablethinking=False`를 사용하고, 26B/31B 계열은 평가 코드에서 empty thought channel 처리를 자동 적용합니다. 평가는 corrected TB2-lite replay set에서 vLLM으로 수행했습니다. 순위 점수는 100 avgcommandf1만 사용하고, firstcmdexactpct는 보조 지표로만 봅니다. — Rank: 2 / 8 — Score: 34.42 — Command F1: 0.3442 — Command precision: 0.4823 — Command recall: 0.3397 — First command exact: 27.1% — Valid JSON: 45.5% — Steps / tasks: 303 / 50 — Sec/step: 0.360 — Load time: 93.6s — Template status:…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: LLM-OS-Models
Теги: gemma4_text, terminal, sft, vllm, tb2-lite, conversational, en, ko
Лайков: 3  |  Загрузок: 16

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.