diff --git a/assets-library/models-performance.json b/assets-library/models-performance.json index 3ebe487..290ec56 100644 --- a/assets-library/models-performance.json +++ b/assets-library/models-performance.json @@ -29,7 +29,7 @@ ], "models": { "pony-v6": { - "rounds_used": 4, + "rounds_used": 5, "dimensions": { "byeolyi": [], "hanja": [], @@ -41,19 +41,21 @@ 42.1, 41.8, 21.5, - 13.1 + 13.1, + 8.9 ], "auto_black": [ 0.61, 0.68, 0.37, 0.01, - 0.01 + 0.01, + 0.15 ] }, "avg_scores": {}, "best_combinations": [], - "verdict": "단일 모델 + 작은 해상도 = 검정 0.01% 완벽 / 파스텔 R1-2 42% (768) → R4 13-21% (640) 해상도 영향" + "verdict": "5라운드 검증 — 단일 모델 가장 안정 (검정 0.01-0.68%, 파스텔 8-42%). 시각 평가 필수." }, "flux-dev": { "rounds_used": 4, diff --git a/eval/meeting-103-grid.html b/eval/meeting-103-grid.html index d35b28a..f50eaa5 100644 --- a/eval/meeting-103-grid.html +++ b/eval/meeting-103-grid.html @@ -1,158 +1,164 @@ -meeting-103 v2.1 — ComfyUI 자율 R&D + 자산 라이브러리 +meeting-103 v2.1 — 5라운드 통합 그리드 -

meeting-103 v2.1 — ComfyUI 자율 R&D

+

meeting-103 v2.1 — 5라운드 통합 (자동 정지 #12 발동)

- 3-stage 파이프라인 · 14 모델 풀 (9 설치 / 4 미설치) · 자산 라이브러리 7종 누적 · - 합격 기준: 별이 ≥8 · 한자 ≥4.5 · 한옥 ≥4.5 + Pony·Schnell·Flux Dev·PuLID·Redux·Qwen 검증 · 합격 기준: 별이 ≥8 · 한자 ≥4.5 · 한옥 ≥4.5 · 무한 루프 자동 정지 발동 → 사용자 시각 검수 필수
-

📊 R1 진행 상태

+

🛑 자동 정지 발동 사유 (Plan §자동 정지 #12)

+ + + + + + + +
R시도성공주요 발견
R154Pony A 별이 1위 파스텔 42.5%, Qwen 5KB 실패
R262Pony→Refiner 42.1% / Pony C 한자 41.8% (시각 평가 핵심)
R360cast_to_device OOM 전부 실패 (VRAM 4.6GB)
R454640×1024 단순화 — Pony 검정 0.01% ⭐
R551동시 enqueue 한계 (Pony B dawn 만)
-

🎯 자산 라이브러리 R1 누적

+

🎯 자산 라이브러리 5R 누적

-

라운드 1 — A 별이 (3 모델 비교)

+

A 별이 (8장)

-
1-1 -
-
1-1: Pony V6 XL A 별이
-
model=pony-v6, steps=28, cfg=7, sampler=dpmpp_2m karras, seed=42, 768×1344
-
- 자동 평가:
- - 크기: 1501KB ✓
- - 검정: 0.61% ✓
- - 파스텔: 42.5% (R1 1위)
- - 별이 8/10 · 한복 정합성 · Cute Horror — 시각 평가 필요 -
-
- auto-pass - vision-check -
-
-
1-2 -
-
1-2: Flux Dev A 별이 (text only)
-
model=flux-dev Q5 GGUF, steps=25, cfg=1, guidance=3.5, FluxGuidance, seed=42
-
- 자동 평가:
- - 크기: 1121KB ✓
- - 검정: 3.11% ⚠️ (DESIGN.md §10 한계 근접)
- - 파스텔: 20.1%
- - 별이 정합성 — 시각 평가 -
-
- black-3pct - vision-check -
-
-
1-3 -
-
1-3: Flux Dev + PuLID A 별이 ⭐
-
model=flux-dev + PuLID weight=0.85 fusion=mean, ref=byeolyi-default-768x1344, end_at=0.8
-
- 자동 평가:
- - 크기: 1065KB ✓
- - 검정: 0.73% ✓
- - 파스텔: 30.2%
- - 별이 얼굴 ID matching 핵심 — 시각 평가 필수 -
-
- auto-pass - vision-id-check -
-
+
+
R1-1 Pony 768²×
pony-v6 · seed 42 · 768×1344
+
크기 1501KB · black 0.61% · pastel 42.5% ⭐
+
best pastelvision
+
+
R1-2 Flux Dev text only
flux-dev · 768×1344
+
1121KB · black 3.11% ⚠️ · pastel 20.1%
+
black 3%
+
+
R1-3 Flux + PuLID mean 0.85
PuLID byeolyi ref
+
1065KB · black 0.73% · pastel 30.2%
+
ID match
+
+
R2-1 Pony→Flux Refiner
denoise 0.3 Stage 3
+
1458KB · black 0.68% · pastel 42.1% ⭐
+
auto-pass
+
+
R4-1 Schnell 640²
4 steps
+
764KB · black 13.92% ❌ · pastel 24%
+
black 14%
+
+
R4-3 Pony 640²
단일
+
1074KB · black 0.01% ⭐ · pastel 21.5%
+
black perfect
+
R2-2/3 PuLID concat/max워크플로우 미생성
+
R3-1/2 PuLID weight 0.5/1cast_to_device OOM
-

라운드 1 — B 한옥

+

B 한옥 (4장)

-
1-4 -
-
1-4: Flux Dev B 한옥 (text only)
-
model=flux-dev Q5 GGUF, NOT japanese / pagoda / wabi-sabi negative, seed=42
-
- 자동 평가:
- - 크기: 1724KB ✓
- - 검정: 0.0% ✓ (완벽)
- - 파스텔: 29.7%
- - 한옥 vs 일본 구분 — 시각 평가 필수 -
-
- auto-pass - korean-vs-japanese -
-
+
+
R1-4 Flux Dev 768²
+
1724KB · black 0.0% ⭐ · pastel 29.7%
+
한옥 vs 일본
+
+
R4-2 Schnell 640²
+
1284KB · black 0.9% · pastel 36.4%
+
+
R4-4 Pony 640²
+
906KB · black 0.01% ⭐ · pastel 13.1%
+
+
R5-4 Pony dawn 768²
+
1840KB · black 0.15% · pastel 8.9%
-

라운드 1 — C 60갑자 한자카드

+

C 60갑자 한자카드 (1장 + Qwen 5차 실패)

-
- 1-5: Qwen-2512 C 한자카드 ❌ -
5.5KB 검정 latent 실패
(v6 R1 3차 + 본 R1 v4 = 총 4차 연속) -

워크플로우 패턴:
SamplerCustomAdvanced + ModelSamplingAuraFlow + EmptySD3LatentImage -

다음 시도 (R2):
non-GGUF safetensors / Lightning LoRA / 다른 sampler/shift -
+
+
R2-6 Pony C 한자카드 ⭐
Pony 가 한자 시도
+
1755KB · black 0.37% · pastel 41.8%
"甲子" 정확도 — 시각 평가 핵심
+
key cellhanja check
+
Qwen-2512 C × 5v1~v5 모두 5KB 검정 latent
(EmptyLatent / EmptyQwenLayered / ModelSamplingAuraFlow+SD3 / SamplerCustomAdvanced / KSampler dpmpp_2m 1024²)
GGUF Q4 + CUDA13 + PyTorch2.12 호환성 결함 추정
+
R3-3 Qwen-Edit-2511 Stage 2cast_to_device OOM
+
+ +
+

📋 사용자 시각 검수 요청 (의무)

+

🔗 검수 채널

diff --git a/eval/meeting-103-meta.json b/eval/meeting-103-meta.json index bb73efd..0ee58cc 100644 --- a/eval/meeting-103-meta.json +++ b/eval/meeting-103-meta.json @@ -1,84 +1,53 @@ { "session": "meeting-103-v2.1", "started_at": "2026-05-19T21:47:00+09:00", - "current_round": 1, - "rounds": [ + "stopped_at": "2026-05-19T22:10:00+09:00", + "current_round": 5, + "total_attempts": 27, + "total_successes": 11, + "stop_reason": "Plan §자동 정지 #12 — 5R 자동 평가 정체 + 자동 미커버 시각 차원", + "rounds_summary": [ { "round": 1, - "name": "초기 매트릭스 (5 조합)", - "status": "completed", - "combinations": [ - { - "id": "1-1", - "model": "pony-v6", - "prompt_set": "A", - "status": "OK", - "auto_eval": { - "size_kb": 1501, - "black_pct": 0.61, - "pastel_pct": 42.5 - }, - "needs_vision": true - }, - { - "id": "1-2", - "model": "flux-dev", - "prompt_set": "A", - "status": "OK", - "auto_eval": { - "size_kb": 1121, - "black_pct": 3.11, - "pastel_pct": 20.1 - }, - "flags": [ - "black-3pct" - ] - }, - { - "id": "1-3", - "model": "flux-dev+pulid", - "prompt_set": "A", - "status": "OK", - "auto_eval": { - "size_kb": 1065, - "black_pct": 0.73, - "pastel_pct": 30.2 - }, - "needs_vision_id": true - }, - { - "id": "1-4", - "model": "flux-dev", - "prompt_set": "B", - "status": "OK", - "auto_eval": { - "size_kb": 1724, - "black_pct": 0.0, - "pastel_pct": 29.7 - }, - "needs_vision": true - }, - { - "id": "1-5", - "model": "qwen-image-2512", - "prompt_set": "C", - "status": "FAILED", - "size_bytes": 5540, - "issue": "5KB 검정 latent (4차 연속)" - } - ], - "best_pastel": "1-1", - "learning": { - "qwen_workflow_3rd_attempt_failed": true, - "next_round_hint": "R2 — Qwen 비-GGUF + Stage 3 Flux Refiner (Pony 1-1 → refiner) + 다른 PuLID fusion" - } + "attempts": 5, + "successes": 4, + "key": "Pony A best pastel 42.5%, Qwen 1차 실패" + }, + { + "round": 2, + "attempts": 6, + "successes": 2, + "key": "Pony→Refiner 42.1%, Pony C 한자카드 41.8%" + }, + { + "round": 3, + "attempts": 6, + "successes": 0, + "key": "cast_to_device OOM 전부 실패" + }, + { + "round": 4, + "attempts": 5, + "successes": 4, + "key": "640×1024 단순화 Pony 검정 0.01% ⭐" + }, + { + "round": 5, + "attempts": 5, + "successes": 1, + "key": "동시 enqueue 한계, Pony B dawn 만" } ], - "thresholds": { - "byeolyi": 8, - "hanja": 4.5, - "hanok": 4.5 + "key_findings": { + "pony-v6": "단일 모델 = 가장 안정 (3R 검증 / 검정 0.01-0.68%)", + "flux-dev": "복합 워크플로우 cast_to_device OOM 빈번", + "qwen-image-2512": "5차 연속 5KB 실패 — GGUF Q4 환경 호환성 결함", + "pulid": "mean fusion R1 만 성공, concat/max/R3 PuLID 모두 실패" }, - "raw_html_url": "https://kakao-kakao2-server.tail31bd37.ts.net/choijaewook/8460s-image-rd/raw/branch/main/eval/meeting-103-grid.html", - "vault_path": "D:\\Vault\\8460s-image-rd\\eval\\meeting-103-grid.html" + "next_actions_pending_user_vision": [ + "1순위: A 별이 R1-1 / R2-1 / R4-3 가 character-bible 8/10 ↑인지", + "2순위: R2-6 Pony C 한자 카드가 '甲子' 정확 렌더링했는지", + "3순위: R1-4 Flux Dev B 한옥이 한국식 vs 일본 통과인지" + ], + "raw_html_url": "https://kakao-kakao2-server.tail31bd37.ts.net/choijaewook/8460s-image-rd/raw/branch/main/eval/meeting-103-grid.html" } \ No newline at end of file diff --git a/results/meeting-103/round5/5-4.png b/results/meeting-103/round5/5-4.png new file mode 100644 index 0000000..b237b63 Binary files /dev/null and b/results/meeting-103/round5/5-4.png differ diff --git a/results/meeting-103/round5/5-4_thumb.png b/results/meeting-103/round5/5-4_thumb.png new file mode 100644 index 0000000..d07acb8 Binary files /dev/null and b/results/meeting-103/round5/5-4_thumb.png differ diff --git a/results/meeting-103/round5/meta.json b/results/meeting-103/round5/meta.json new file mode 100644 index 0000000..167f6f0 --- /dev/null +++ b/results/meeting-103/round5/meta.json @@ -0,0 +1,77 @@ +{ + "round": 5, + "captured_at": "2026-05-19T22:10:09.354714", + "combos": [ + { + "id": "5-1", + "prompt_id": "73cb6787-b0b5-4b8f-a382-77a6fdc87363", + "models_used": [ + "pony-v6" + ], + "prompt_set": "A", + "stage": "1-only", + "seed": 99, + "variant": "base seed99", + "status": "no_filename" + }, + { + "id": "5-2", + "prompt_id": "bc332216-367f-4822-8125-9ec2f5907e03", + "models_used": [ + "pony-v6" + ], + "prompt_set": "A", + "stage": "1-only", + "seed": 123, + "variant": "twin braids", + "status": "no_filename" + }, + { + "id": "5-3", + "prompt_id": "b7d53117-ebb5-456b-a19a-40976fa3d189", + "models_used": [ + "pony-v6" + ], + "prompt_set": "A", + "stage": "1-only", + "seed": 7, + "variant": "with fortune card", + "status": "no_filename" + }, + { + "id": "5-4", + "prompt_id": "284ad079-24b6-4902-b548-6dd4c11adb7e", + "models_used": [ + "pony-v6" + ], + "prompt_set": "B", + "stage": "1-only", + "variant": "dawn 768", + "status": "OK", + "size_bytes": 1884658, + "width": 768, + "height": 1344, + "aspect": 0.5714, + "black_pct": 0.15, + "pastel_pct": 8.9, + "thumb_size_kb": 613 + }, + { + "id": "5-5", + "prompt_id": "fec3baf9-4531-47ed-bedd-fbbde10f89f3", + "models_used": [ + "pony-v6" + ], + "prompt_set": "C", + "stage": "1-only", + "variant": "hanja emphasis 35 steps cfg8", + "status": "no_filename" + } + ], + "learning": { + "passed_count": 1, + "failed_count": 4, + "best_pastel": "5-4", + "next_round_hint": "auto-determine based on round learning" + } +} \ No newline at end of file