Bagaimana Model Bahasa Besar Sebenarnya Bekerja

Model bahasa besar, atau Large Language Model (LLM), adalah program yang mempelajari pola dari miliaran kata untuk memprediksi kata berikutnya dalam urutan. Proses ini terdengar sederhana, tetapi melibatkan arsitektur matematika kompleks, algoritma pembelajaran yang canggih, dan pusat data berisi ribuan kartu GPU bernilai puluhan juta dolar. Tiga komponen utama membuat LLM bekerja: cara teks diubah menjadi angka yang dapat diproses, struktur jaringan saraf yang mempelajari pola, dan skala data serta komputasi yang sangat besar.

Tokenisasi: Mengubah Kata menjadi Angka

Komputer tidak memahami kata. Mereka memahami angka. Langkah pertama dalam membuat LLM bekerja adalah mengubah teks menjadi deretan angka yang disebut token.

Token bukan sama dengan kata. Kata “hamburger” mungkin dipecah menjadi tiga token: “ham”, “burg”, “er”. Pemecahan ini memungkinkan model menangani kata baru atau jarang tanpa harus mempelajari setiap kombinasi yang mungkin. Setiap token kemudian dipetakan ke angka unik, dan angka-angka itu menjadi input untuk jaringan saraf.

Sistem tokenisasi berbeda antara model. OpenAI menggunakan Byte Pair Encoding, yang belajar pasangan token mana yang paling sering muncul bersama dalam data pelatihan dan menggabungkannya. Ini membuat model lebih efisien dalam memproses panjang urutan.

Arsitektur Transformer: Perhatian dan Pola

Setiap LLM modern dibangun di atas arsitektur yang disebut Transformer, diperkenalkan oleh Google pada 2017 dalam makalah “Attention Is All You Need”. Transformer menggunakan mekanisme self-attention untuk memahami hubungan antara token dalam kalimat.

Self-attention bekerja seperti ini: untuk setiap token, model mengukur seberapa penting setiap token lain. Ketika memproses kata “gajah” dalam “Gajah besar berjalan di hutan”, model memberikan perhatian tinggi pada “besar” dan “berjalan”, tetapi perhatian rendah pada “di” atau “yang”. Perhatian dihitung menggunakan tiga matriks: Query, Key, dan Value. Query adalah “apa yang saya cari”, Key adalah “apa yang saya adalah”, Value adalah “apa yang saya lewatkan”. Scoring ini terjadi serentak untuk semua token, bukan satu per satu.

Parameter dan Bobot Jaringan

Setiap koneksi dalam jaringan saraf memiliki bobot numerik yang menyesuaikan sinyal. Parameter adalah bobot-bobot ini ditambah nilai bias kecil. Model dengan 70 miliar parameter memiliki 70 miliar nilai numerik yang dapat dioptimalkan selama pelatihan. Jumlah parameter berkorelasi kasar dengan kemampuan model, tetapi bukan satu-satunya faktor. Kualitas data, arsitektur, dan waktu pelatihan juga penting. Meta mengumumkan LLaMA 3 dengan 70 miliar parameter pada April 2024, dan model itu berkompetisi dengan model berukuran serupa dari perusahaan lain.

Lapisan dan Kedalaman Model

Model besar memiliki ratusan lapisan Transformer yang ditumpuk. Setiap lapisan memproses output lapisan sebelumnya, menambahkan pola dan pemahaman baru. Lapisan awal mempelajari pola dasar seperti struktur sintaks dan hubungan kata. Lapisan tengah mempelajari semantik dan makna kontekstual. Lapisan akhir menangani tugas tingkat tinggi seperti reasoning dan pemecahan masalah.

Pelatihan: Memprediksi Token Berikutnya

Semua LLM dilatih dengan tujuan sederhana: memprediksi token berikutnya dalam urutan. Selama pelatihan, model membaca miliaran token dari data publik internet, buku, artikel, dan kode komputer. GPT-3 dari OpenAI, dirilis pada 2020, dilatih pada 570 miliar token. GPT-4 dilatih pada lebih banyak data dengan biaya komputasi lebih tinggi, tetapi angka pastinya tetap pribadi. Anthropic tidak mengungkapkan volume pelatihan Claude secara spesifik.

Selama setiap langkah pelatihan, model membuat prediksi, membandingkannya dengan token berikutnya yang sebenarnya, dan menyesuaikan bobot menggunakan backpropagation. Penyesuaian itu sangat kecil, ribuan kali lebih kecil dari bobot aslinya, tetapi ratusan miliar penyesuaian ini membuat model semakin baik mengenali pola.

Pelatihan model besar memakan biaya jutaan dolar dan menggunakan pusat data khusus penuh dengan kartu GPU Nvidia. Kartu A100 dan H100 adalah standar industri, masing-masing berharga sekitar USD 10.000 hingga 15.000 per unit. Sebuah cluster pelatihan besar mungkin memiliki ribuan kartu ini. Memperkirakan biaya training GPT-3 berada di rentang USD 4 hingga 6 juta dalam waktu komputasi GPU murni.

Inference: Bagaimana Model Menghasilkan Respons

Ketika pengguna mengetik perintah, model tidak melihat respons lengkap yang akan diberikan. Model menghasilkan token satu per satu, menggunakan semua token sebelumnya sebagai konteks. Proses ini disebut autoregressive generation.

Model menghitung probabilitas setiap token yang mungkin datang selanjutnya, kemudian memilih salah satu berdasarkan sampling atau strategi greedy. Sampling berarti memilih token dengan probabilitas tinggi secara acak, menciptakan variasi dalam output. Greedy berarti selalu memilih token dengan probabilitas tertinggi, menghasilkan respons yang deterministik. Setiap token baru ditambahkan ke konteks, dan model dijalankan lagi. Proses berlanjut sampai model memprediksi token khusus yang berarti “henti” atau batas panjang tercapai.

Melayani satu permintaan kepada model besar memerlukan operasi floating-point triliunan. Server yang menjalankan model harus menggunakan multiple GPU atau chip khusus seperti Google TPU untuk melayani permintaan dengan latensi wajar, bukan hitungan menit.

Sumber Daya dan Biaya Operasional

Menjalankan LLM dalam produksi berbeda dari pelatihan, tetapi tetap mahal. Biaya terdiri dari hardware, energi, dan personel untuk memelihara infrastruktur.

API model membuat biaya per permintaan transparan. GPT-4 dari OpenAI mengenai biaya sekitar USD 0,015 hingga 0,03 per 1.000 token tergantung ukuran input versus output. Claude 3 dari Anthropic mengenai USD 0,003 untuk model termurah dan USD 0,02 untuk yang termahal. Model open-source seperti LLaMA 2 dari Meta, dirilis Juli 2023, dapat berjalan secara gratis tetapi memerlukan hardware yang sesuai.

Energi adalah biaya tersembunyi signifikan. Model besar mengkonsumsi megawatt saat beroperasi. Google memperkirakan data centernya mengkonsumsi 15 persen dari total listrik perusahaan per tahun, sebagian besar untuk workload ML. Komputasi AI diproyeksikan meningkatkan konsumsi listrik global dalam dekade mendatang.

Batasan Model Bahasa

Model sangat baik mencocokkan pola. Mereka dapat menulis prosa, merangkum teks, menerjemahkan bahasa, menjawab pertanyaan, dan menghasilkan kode. Mereka telah melihat miliaran contoh dari masing-masing tugas dalam data pelatihan.

Namun mereka memiliki batas keras. Mereka tidak dapat membaca internet real-time atau mengakses informasi setelah tanggal cutoff pelatihan. Mereka tidak dapat melakukan matematika dengan andal, terutama perhitungan multi-langkah. Mereka sering membuat kesalahan faktual yang disebut hallucination, menghasilkan informasi yang terdengar masuk akal tetapi tidak benar. Model bekerja berdasarkan korelasi statistik, bukan pemahaman sejati. Mereka tidak memiliki model dunia internal yang akurat. Ketika ditanya berapa berat mobil, mereka tidak membayangkan mobil dan menimbangnya. Mereka mencari pola dalam data pelatihan di mana pertanyaan serupa diajukan dan dijawab.