Arsitektur Teknis
Aceh Agentic RAG + OCR adalah platform backend yang di-host sendiri untuk Pemerintah Aceh. Platform ini mengambil dan menjawab pertanyaan dalam Bahasa Indonesia dan Bahasa Inggris berdasarkan sumber pemerintah dari JDIH, OpenData, PPID, SatuData, dan BPS — 44,443 terdata, dengan 35,271 di antaranya berupa dokumen yang diantrekan untuk ingesti (katalog, bukan indeks; produksi memegang 260 dokumen — audit produksi firstmate 2026-10-07) — serta dibangun sesuai persyaratan TOR untuk mengindeks dan mencari lebih dari 100.000 dokumen. Data dan inferensi tetap berada di dalam Huawei Cloud.
Tujuan Sistem
- Melayani 10–50 pengguna internal secara bersamaan melalui API JSON HTTP dan streaming Server-Sent Events.
- Mendukung Agentic RAG atas PDF, file Word, spreadsheet, gambar hasil pemindaian, TXT, dan format dokumen pemerintah terkait.
- Memenuhi seluruh persyaratan kedaulatan data dengan hanya menggunakan komponen yang di-host sendiri.
- Menyertakan sitasi sumber pada setiap jawaban query dan menjalankan pemeriksaan kesesuaian sebelum mengembalikannya.
- Menerapkan Pengaman Kebijakan Pemerintah pada setiap output jawaban query;
/generatementah yang diautentikasi adalah pengecualian eksplisit.
Stack Inti
| Lapisan | Teknologi | Tujuan |
|---|---|---|
| API | FastAPI | API JSON HTTP asinkron, streaming query SSE, autentikasi, pembatasan laju, sesi, validasi |
| Klien model | LiteLLM | Pemanggilan model yang kompatibel dengan OpenAI, percobaan ulang, perutean fallback, hook tracing |
| Orkestrasi | Custom Python + Pydantic | Pipeline Router, Planner, Executor, Synthesizer |
| Penyajian model | vLLM | Endpoint LLM, embedding, dan reranker yang di-host sendiri |
| Penyimpanan retrieval | PostgreSQL + pgvector + full-text search | Retrieval semantik HNSW serta retrieval kata kunci leksikal |
| Prompt dan observabilitas | Langfuse | Penerapan versi prompt, trace, dataset evaluasi, workflow LLM-as-judge |
| Ingesti asinkron | Kafka | Antrean event pemrosesan dokumen |
| Cache | Redis | Cache sesi dan respons LLM |
| Platform cloud | Huawei Cloud | APIG, CCE/ECS, RDS, OBS, DCS, DMS, VPC, SWR |
Alur Permintaan
Router mengklasifikasikan intent, Planner menguraikan pertanyaan kompleks, Executor memanggil tool retrieval dan analisis, dan Synthesizer mengembalikan jawaban bersitasi setelah pemeriksaan kesesuaian dan kebijakan.
Arsitektur Retrieval
Retrieval hybrid adalah jalur default. Retrieval semantik menggunakan pgvector HNSW pada embedding chunk, retrieval kata kunci leksikal menggunakan PostgreSQL full-text search, dan RRF menggabungkan kedua peringkat sebelum reranker memberi peringkat ulang pada kandidat teratas.
Setiap jawaban akhir harus menyertakan sitasi chunk sumber yang digunakannya. Klaim yang tidak didukung adalah halusinasi dan gagal dalam gerbang kesesuaian.
Arsitektur OCR dan Ingesti
Dokumen masuk melalui pipeline ingesti, disimpan di OBS, diuraikan berdasarkan jenisnya, dipecah menjadi chunk, dibuatkan embedding, dan diindeks di PostgreSQL. Dokumen hasil pemindaian atau yang didominasi gambar diarahkan melalui OCR sebelum pengindeksan.
Confidence OCR adalah metadata wajib. Ekstraksi di bawah ambang batas harus diarahkan ke human review, bukan diterima diam-diam ke dalam indeks.
Topologi Deployment
Produksi memisahkan tanggung jawab aplikasi, data RAG, penyajian model, cache, antrean, dan object storage:
Topologi produksi mencatat alokasi host dan layanan yang di-deploy. Baseline pengadaan mencatat kapasitas yang diwajibkan, terpisah dari kondisi deployment.
Lihat snapshot produksi yang diaudit untuk ref deployment, pengaturan runtime, inventaris korpus, dan deployment yang masih tertunda.
Pengaman Operasional
- Tidak ada SaaS eksternal atau egress data untuk inferensi dan penanganan dokumen yang disediakan.
- Hanya komponen open-source berlisensi OSI.
- Kontrak prompt tetap dalam file/kode yang direview dan memerlukan deploy. Hanya
agent-editorialyang dapat dikelola melalui Langfuse menurut ADR-0006; manajemen prompt produksi tetap nonaktif, terpisah dari tracing yang aktif. - Perubahan model/versi OCR memerlukan validasi ulang karena confidence score dapat berubah.
- Overflow context-window harus ditangani secara eksplisit; pemotongan diam-diam tidak dapat diterima.
- Dokumen yang di-ingest adalah input tak tepercaya, sehingga kebersihan prompt dan Pengaman Kebijakan Pemerintah wajib diterapkan.