Evaluasi dan Roadmap
Proyek ini memvalidasi pencarian, kualitas jawaban, kualitas sitasi, kinerja, OCR, dan perilaku deploy secara bertahap.
Kerangka evaluasi
| Dimensi | Metode |
|---|---|
| Kualitas pencarian | Recall@k, MRR@k, nDCG@k pada Dataset Golden |
| Kualitas jawaban | LLM-as-judge dan review manusia terhadap jawaban yang diharapkan |
| Kesesuaian | Memeriksa setiap klaim jawaban terhadap chunk yang diambil |
| Akurasi sitasi | Mengonfirmasi sitasi jawaban menunjuk ke chunk pendukung |
| Kinerja | Latensi p50/p95/p99, token/detik, amplop permintaan bersamaan |
| Kualitas OCR | Distribusi confidence, laju review, penerimaan output koreksi |
Dataset Golden
Dataset Golden adalah benchmark penerimaan: dokumen representatif ditambah pasangan pertanyaan-jawaban berlabel dan pemetaan passages sumber. Jika label tingkat passages tidak tersedia, label tingkat dokumen menjadi fallback dengan presisi lebih rendah.
Hasil awal
Berikut adalah angka awal dan indikatif dari run golden-seed live terhadap index pgvector lokal dan model pra-produksi (LLM yang lebih kecil melalui tunnel SSH; staging lama sudah dihapus — audit produksi firstmate 2026-10-07), bukan laporan penerimaan akhir. Angka-angka ini memvalidasi arah pencarian dan chunking; angka absolut diperkirakan akan membaik pada model produksi 27B (qwen3.8-27b, ref 2cc9a417).
- Pencarian hybrid pada seed set — Recall@5 ≈ 0,83, MRR@5 ≈ 0,80, nDCG@5 ≈ 0,81 di seluruh label JDIH + PPID campuran.
- Chunking sadar struktur mengalahkan baseline datar pada teks hukum. Pada JDIH born-digital, chunker sadar Pasal (chunking batas artikel) mengungguli chunking fixed-window vanilla pada korpus yang sama — pencarian dan kesesuaian keduanya naik (sekitar +0,04 pencarian, +0,05 kesesuaian dalam A/B). Prosa PPID divalidasi pada chunker layout-block, dengan sumber atas yang benar diambil pada ~95% label PPID; chunker sadar struktur PPID adalah kandidat gabungan yang masih dalam evaluasi A/B.
- Kesesuaian sadar angka mengurangi penolakan palsu. Setelah membuat pemeriksaan dukungan sadar angka (grounding numerik/mata uang/persentase/rasio yang tepatlintas bahasa Indonesia dan Inggris), jawaban angka singkat dan lintas bahasa yang sebelumnya ditolak sekarang ter-ground dengan benar tanpa melemahkan gerbang terhadap klaim yang tidak didukung.
Kekurangan tingkat jawaban yang tersisa dalam run ini bukan kegagalan pencarian atau chunking — semuanya ditelusuri ke routing sumber yang dikonfigurasi (pertanyaan "berapa banyak" yang dikirim ke sumber SQL yang tidak dikonfigurasi) dan sejumlah kecil tabel anggaran pindaian yang terblokir di jalur OCR, keduanya dilacak secara terpisah.
Milestone
| Tahap | Cakupan |
|---|---|
| Fondasi | Retrieve single-shot ke sintesis, ingesti multi-format, gerbang confidence OCR, pencarian hybrid, jawaban berbasis sumber, Pengaman Kebijakan, Langfuse, dan API upload/status |
| Ekspansi Agentic | Router, Planner, Executor, registri tool, memori multi-turn, resume sesi, dan pemahaman query |
| Tata kelola dan Skala | RBAC/ABAC, logging audit penuh, ekstraksi KTP, alur kerja review manusia, konektor sumber, dan hardening skala |
| Penerimaan | Dataset Golden penuh, laporan evaluasi model, API data dashboard, dokumentasi teknis, dan pelatihan |
Gerbang validasi
- Validasi kontrak layanan untuk perilaku API.
- Validasi integrasi untuk path PostgreSQL/pgvector dan penyimpanan objek.
- Validasi end-to-end untuk ingesti, OCR, pencarian, dan query.
- Validasi GPU untuk LLM, embedding, OCR, dan reranker.
- Evaluasi stack produksi terhadap Dataset Golden sebelum penerimaan.