Retrieval-Augmented Generation: Bagaimana AI Mengakses Data Eksternal

Retrieval-Augmented Generation, atau RAG, adalah teknik yang menghubungkan model bahasa besar (LLM) dengan sumber data eksternal sebelum menghasilkan jawaban. Daripada hanya mengandalkan pengetahuan yang tertanam dalam model saat pelatihan, RAG mengambil informasi terkini dari dokumen, database, atau sistem pengetahuan lainnya, lalu menggunakannya untuk menjawab pertanyaan dengan lebih akurat. Konsepnya sederhana: model AI pertama mencari dokumen atau data yang relevan dari perpustakaan digital yang tersedia, kemudian menggunakan informasi itu sebagai konteks untuk menjawab pertanyaan pengguna. Ini mirip dengan cara seorang peneliti menghabiskan waktu di perpustakaan mencari referensi sebelum menulis laporan, bukan hanya mengandalkan ingatan mereka.

Apa itu Retrieval-Augmented Generation

RAG adalah solusi untuk batasan mendasar model bahasa besar. Model-model ini dilatih sekali dan pengetahuan mereka terbatas pada data yang tersedia saat pelatihan berakhir. Seorang pengguna yang bertanya kepada model standar tentang acara terbaru, harga pasar terkini, atau informasi spesifik perusahaan mungkin mendapat jawaban yang usang atau salah. Selain itu, model dapat menghasilkan informasi yang terdengar meyakinkan tetapi faktanya tidak akurat, fenomena yang disebut hallucination. RAG mengatasi kedua masalah ini dengan mengintegrasikan sumber data eksternal yang dapat diperbarui secara real-time.

Mengapa RAG Penting: Masalah yang Dipecahkannya

Model bahasa standar memiliki tiga kelemahan mendasar yang RAG dirancang untuk mengatasi. Pertama, pengetahuan mereka terbatas pada data yang tersedia saat pelatihan berakhir. Model yang dilatih pada data hingga Januari 2024 tidak tahu apa yang terjadi setelahnya. Kedua, model dapat menghasilkan jawaban yang terdengar plausibel tetapi sepenuhnya fiktif, mengandalkan pola yang dipelajari daripada fakta nyata. Ketiga, model tidak dapat mengakses informasi spesifik perusahaan atau data proprietary yang hanya tersedia dalam sistem internal.

RAG mengatasi ketiga masalah ini sekaligus. Dengan mengambil data dari sumber terbaru, RAG menjaga informasi tetap relevan dan saat kini. Dengan mengacu pada dokumen konkret yang diambil, RAG mengurangi kemungkinan model menghasilkan informasi fiktif. Dan dengan mengintegrasikan database internal, RAG memungkinkan perusahaan menggunakan AI dengan informasi proprietary mereka sendiri tanpa perlu melatih model baru dari awal atau membayar biaya development yang mahal.

Bagaimana RAG Bekerja: Proses Tiga Tahap

RAG beroperasi dalam tiga tahap terpisah yang bekerja bersama untuk menghasilkan jawaban yang akurat. Pemahaman tahapan ini penting untuk mengetahui mengapa teknologi ini efektif, di mana kelebihannya, dan di mana batasan-batasannya terletak.

Indeksasi

Sebelum sistem dapat menjawab pertanyaan apa pun, dokumen atau data harus disiapkan dan disimpan dalam format yang dapat dicari dengan cepat. Teks dari setiap dokumen dipotong menjadi bagian-bagian kecil yang disebut chunks, dikonversi menjadi representasi numerik yang disebut embeddings, dan disimpan dalam database khusus bernama vector database. Proses ini terjadi sekali untuk setiap dokumen baru yang ditambahkan ke sistem. Vector database seperti Pinecone, Weaviate, dan Chroma dirancang khusus untuk menyimpan dan mencari embeddings dengan cepat, membuat retrieval hampir instan bahkan dengan jutaan dokumen.

Pengambilan Data

Ketika pengguna mengajukan pertanyaan, sistem mengubah pertanyaan itu menjadi embedding dengan cara yang sama seperti dokumen-dokumen di-embed sebelumnya. Sistem kemudian mencari dokumen yang embedding-nya paling mirip dengan pertanyaan, berdasarkan perhitungan similaritas seperti cosine similarity. Sistem mengembalikan beberapa dokumen yang paling relevan, biasanya antara tiga hingga sepuluh hasil teratas, bersama dengan skor kepercayaan yang menunjukkan seberapa dekat kecocokan tersebut.

Generasi

Model bahasa menerima pertanyaan asli pengguna plus ringkasan atau kutipan langsung dari dokumen yang diambil dalam tahap sebelumnya. Model kemudian menghasilkan jawaban berdasarkan konteks gabungan itu. Sistem dirancang untuk memaksa model mereferensikan dokumen sumber secara eksplisit, sehingga pengguna dapat memverifikasi informasi dan melacaknya kembali ke dokumen asli. Pendekatan ini mengurangi hallucination karena model harus mendukung klaim dengan teks yang nyata.

Kasus Penggunaan Dunia Nyata

RAG paling berguna untuk organisasi yang perlu menjawab pertanyaan berdasarkan dokumen internal yang besar atau data yang sering berubah. Perusahaan dukungan pelanggan menggunakan RAG untuk membangun chatbot yang menjawab pertanyaan berdasarkan basis pengetahuan internal mereka, memberikan saran yang relevan dengan kebijakan spesifik perusahaan alih-alih jawaban generik. Departemen hukum menggunakan RAG untuk menemukan preseden dan klausul kontrak dalam ribuan dokumen, tugas yang membutuhkan presisi dan dapat diverifikasi.

Perusahaan penelitian dan pengembangan menggunakan RAG untuk menganalisis literatur ilmiah terbaru tanpa menunggu model dilatih ulang setiap bulan. Organisasi pemerintah dan lembaga pendidikan menggunakan RAG untuk membuat asisten yang menjawab pertanyaan berdasarkan regulasi atau kurikulum internal mereka. Rumah sakit menggunakan RAG untuk membantu staf medis mengakses protokol perawatan terbaru dan panduan diagnosis dari literatur klinis. Biaya implementasi RAG bervariasi tergantung skala dan kompleksitas, dari beberapa ratus dolar untuk proyek kecil hingga puluhan ribu dolar per bulan untuk sistem enterprise, tetapi masih jauh lebih murah daripada melatih model proprietary dari nol.

Tantangan dan Batasan RAG

RAG bukan solusi sempurna untuk setiap masalah. Tantangan pertama adalah kualitas dokumen. Jika sumber yang diambil penuh dengan informasi usang atau salah, model akan mengulang kesalahan itu. Sistem RAG hanya setepat data yang diindeksnya, sehingga garbage in equals garbage out. Kedua, proses pengambilan dapat melewatkan dokumen yang relevan jika penyusunan pertanyaan pengguna jauh berbeda dari cara dokumen ditulis. Jika pengguna bertanya tentang cuaca tetapi dokumen menggunakan istilah kondisi iklim, sistem mungkin tidak menemukan kecocokan yang baik.

Ketiga, RAG menambah latensi karena sistem perlu mengambil dokumen terlebih dahulu sebelum menghasilkan jawaban, memperlama respons dibanding model yang menjawab langsung. Untuk aplikasi real-time yang membutuhkan respons instan, penundaan ini bisa menjadi masalah. Keempat, keamanan dan privasi data. Menyimpan dokumen di sistem yang dapat dicari oleh AI membawa risiko bahwa informasi sensitif bisa bocor melalui pertanyaan pengguna atau akses sistem yang tidak sah. Organisasi dengan data yang sangat rahasia harus menerapkan kontrol keamanan tambahan.

Alat dan Platform untuk RAG

Beberapa kerangka kerja sumber terbuka seperti LangChain dan LlamaIndex memudahkan pengembang membangun sistem RAG tanpa menulis setiap komponen dari nol. Penyedia cloud seperti OpenAI dan Anthropic menawarkan API yang dapat diintegrasikan ke dalam alur RAG. LangChain khususnya menyediakan komponen standar untuk indeksasi, pengambilan, dan generasi, mengurangi waktu pengembangan dari bulan menjadi minggu. Organisasi dapat memilih untuk membangun sistem proprietary sepenuhnya atau mengandalkan kombinasi alat sumber terbuka dan layanan pihak ketiga tergantung pada kebutuhan dan anggaran mereka.

Memilih Teknologi yang Tepat

RAG bukan jawaban untuk setiap masalah AI. Untuk tugas-tugas yang membutuhkan pengetahuan umum luas atau kreativitas tinggi, seperti menulis fiksi atau brainstorming ide konseptual, model standar sering kali lebih cocok karena tidak memerlukan ketergantungan pada dokumen spesifik. RAG bekerja terbaik ketika Anda memiliki kumpulan dokumen konkret yang besar, informasi harus tetap saat kini, atau jawaban harus dapat dilacak kembali ke sumber spesifik yang dapat diaudit.

Sebelum memilih RAG untuk proyek Anda, tanyakan pada diri sendiri beberapa pertanyaan. Apakah jawaban yang benar tergantung pada data spesifik yang berubah secara berkala? Apakah pengguna perlu mengetahui dari mana informasi berasal? Apakah basis pengetahuan Anda cukup besar sehingga model standar kesulitan menguasainya? Apakah akurasi lebih penting daripada kecepatan respons? Jika jawaban untuk pertanyaan-pertanyaan ini adalah ya, RAG layak dipertimbangkan. Jika tidak, model standar atau solusi yang lebih sederhana mungkin lebih efisien dan hemat biaya.