Apa Itu LLM? Cara Kerja, Contoh, dan Kebutuhan Servernya

Apa itu LLM? LLM atau Large Language Model adalah model kecerdasan buatan yang dilatih menggunakan data teks dalam jumlah besar agar dapat memahami, memproses, dan menghasilkan bahasa. Teknologi inilah yang memungkinkan aplikasi AI menjawab pertanyaan, membuat ringkasan, menerjemahkan bahasa, membantu coding, hingga menganalisis dokumen.

ChatGPT, Claude, dan Gemini merupakan contoh aplikasi AI yang memanfaatkan model bahasa untuk berinteraksi dengan pengguna. Namun, LLM sebenarnya tidak hanya digunakan untuk chatbot. Developer juga dapat mengintegrasikannya ke dalam website, aplikasi customer service, mesin pencarian internal, sistem analisis dokumen, dan berbagai layanan digital lainnya.

Di balik kemampuannya tersebut, LLM memerlukan data, proses training, serta resource komputasi yang tidak sedikit. Karena itu, developer perlu menentukan apakah aplikasi akan menggunakan layanan LLM melalui API atau menjalankan model sendiri pada infrastruktur server.

Artikel ini akan membahas cara kerja LLM, istilah penting di dalamnya, contoh penggunaannya, hingga kebutuhan server untuk membangun aplikasi berbasis AI.

Apa Itu LLM?

LLM adalah singkatan dari Large Language Model atau model bahasa berskala besar. Stanford HAI mendefinisikan LLM sebagai sistem AI yang dilatih menggunakan data teks dalam jumlah besar agar mampu memahami dan menghasilkan bahasa. Model ini biasanya dibangun menggunakan deep learning dan memiliki parameter dalam jumlah yang sangat banyak.

Untuk memahami definisinya, mari membedah tiga kata yang membentuk istilah LLM.

1. Large

Kata large tidak hanya berarti model tersebut menggunakan data yang banyak. Istilah ini juga mengacu pada:

• Jumlah parameter model.
• Volume dan keragaman data pelatihan.
• Resource komputasi yang digunakan selama training.
• Memori yang dibutuhkan saat model dijalankan.
• Skala infrastruktur yang digunakan untuk melayani pengguna.

Model yang lebih besar umumnya dapat mempelajari pola yang lebih kompleks. Namun, ukuran bukan satu-satunya faktor yang menentukan kualitas. Arsitektur, kualitas data, proses training, fine-tuning, dan metode evaluasi juga berpengaruh terhadap kemampuan model.

2. Language

Kata language menunjukkan bahwa model tersebut mempelajari pola dalam bahasa. Data yang diproses tidak terbatas pada kalimat biasa, tetapi dapat mencakup:

• Artikel.
• Buku.
• Percakapan.
• Dokumentasi teknis.
• Kode program.
• Data terstruktur.
• Berbagai jenis teks lainnya.

Bidang yang mempelajari hubungan antara komputer dan bahasa manusia disebut Natural Language Processing atau NLP.

3. Model

Model adalah sistem komputasi yang telah belajar dari data untuk mengenali pola dan menghasilkan prediksi.

Dalam konteks LLM, model tidak mengambil satu jawaban tetap dari sebuah daftar seperti ketika melakukan pencarian pada database. Model menghasilkan respons secara bertahap berdasarkan pola yang dipelajarinya selama training.

Meski demikian, jangan menganggap LLM sama sekali tidak dapat mengulang data pelatihan. Dalam kondisi tertentu, model tetap dapat menghasilkan kembali bagian dari data yang pernah dipelajarinya. Karena itu, kualitas data, perlindungan privasi, dan evaluasi model tetap penting.

Analogi Sederhana Cara Kerja LLM

LLM dapat dianalogikan sebagai fitur autocomplete yang jauh lebih canggih.

Saat kamu mengetik:

Hari ini cuaca sangat…

Sistem dapat memperkirakan bahwa kata berikutnya mungkin berupa “cerah”, “panas”, atau “mendung”.

LLM melakukan proses serupa, tetapi dengan model yang jauh lebih kompleks. Model tidak hanya memperhitungkan satu atau dua kata sebelumnya, melainkan juga instruksi, struktur kalimat, konteks percakapan, dan pola yang dipelajari selama training.

Model kemudian memilih token berikutnya, menambahkannya ke respons, lalu mengulangi proses tersebut sampai jawaban selesai.

Karena bekerja berdasarkan prediksi, jawaban LLM dapat terdengar masuk akal meskipun informasinya tidak selalu benar.

Bagaimana Cara Kerja LLM?

Cara kerja LLM dapat dibagi menjadi dua proses utama:

1. Training, yaitu proses melatih model.
2. Inference, yaitu proses menggunakan model untuk menghasilkan respons.

Secara sederhana, alurnya terlihat seperti berikut.

Berikut penjelasan setiap tahapnya:

1. Mengumpulkan dan Menyiapkan Dataset

Proses pembuatan LLM dimulai dengan mengumpulkan dataset. Data tersebut dapat berasal dari teks, kode, dokumen, buku, website, dan sumber lain yang diizinkan untuk digunakan.

Data kemudian perlu melalui beberapa proses, seperti:

• Menghapus duplikasi.
• Menyaring konten berkualitas rendah.
• Memperbaiki format.
• Menghapus informasi yang tidak dibutuhkan.
• Menyesuaikan data dengan tujuan training.
• Mengurangi konten berbahaya atau sensitif.

Banyaknya data tidak otomatis menghasilkan model yang baik. Dataset yang tidak seimbang, tidak relevan, atau memiliki banyak informasi keliru juga dapat memengaruhi hasil model.

2. Mengubah Teks Menjadi Token

Komputer tidak memproses kalimat dengan cara yang sama seperti manusia. Sebelum digunakan oleh model, teks perlu dipecah menjadi unit-unit kecil yang disebut token.

Token dapat berupa:

• Satu kata.
• Bagian dari kata.
• Angka.
• Tanda baca.
• Karakter tertentu.
• Potongan kode.

Sebagai contoh, satu kata panjang dapat dibagi menjadi beberapa token. Cara pembagian tersebut bergantung pada tokenizer yang digunakan oleh masing-masing model.

Jumlah token penting karena dapat memengaruhi:

• Panjang input yang dapat diproses.
• Panjang jawaban.
• Penggunaan memori.
• Waktu pemrosesan.
• Biaya penggunaan API.

3. Melatih Parameter Model

Parameter adalah nilai numerik di dalam model yang terus disesuaikan selama proses training.

Model menerima rangkaian token, mencoba memprediksi token berikutnya, kemudian membandingkan prediksinya dengan data yang benar. Jika prediksinya kurang tepat, parameter akan diperbarui.

Proses ini dilakukan berkali-kali menggunakan data dalam jumlah besar. Dari proses tersebut, model mempelajari hubungan antara kata, struktur kalimat, gaya bahasa, konteks, kode, dan berbagai pola lainnya.

Parameter bukan kumpulan jawaban yang disimpan dalam bentuk daftar. Parameter lebih mirip sekumpulan nilai yang membantu model menentukan pola dan hubungan di antara token.

4. Memprediksi Token Berikutnya

Salah satu dasar cara kerja model bahasa adalah memprediksi token berikutnya berdasarkan token-token sebelumnya.

Sebagai contoh, ketika menerima prompt:

Sebutkan tiga manfaat menggunakan HTTPS untuk website.

Model akan menghitung berbagai kemungkinan token yang dapat digunakan untuk memulai jawaban. Setelah token pertama dipilih, model kembali menghitung token berikutnya hingga membentuk kalimat dan paragraf yang utuh.

Pendekatan prediksi token berikutnya menjadi bagian penting dalam proses pretraining berbagai model bahasa modern.

5. Memahami Prompt dan Context Window

Prompt adalah input yang diberikan kepada model. Prompt dapat berupa pertanyaan, instruksi, kode, dokumen, gambar, atau kombinasi beberapa jenis input, tergantung kemampuan model yang digunakan.

Sementara itu, context window adalah jumlah token yang dapat dipertimbangkan model dalam satu proses.

Context window dapat mencakup:

• Instruksi sistem.
• Prompt pengguna.
• Riwayat percakapan.
• Dokumen tambahan.
• Hasil pemanggilan tools.
• Jawaban yang sedang dihasilkan.

Semakin panjang konteks yang digunakan, semakin besar pula kebutuhan memorinya. Namun, context window yang besar tidak otomatis membuat jawaban menjadi lebih akurat. Informasi yang diberikan tetap harus relevan, jelas, dan terstruktur. Dokumentasi Ollama juga menjelaskan bahwa penambahan panjang konteks meningkatkan kebutuhan memori saat model dijalankan.

6. Menghasilkan Jawaban melalui Inference

Setelah training selesai, model dapat digunakan untuk menghasilkan respons. Proses penggunaan model yang sudah dilatih disebut inference.

Pada tahap ini, model tidak mengulang seluruh proses training. Model hanya memuat bobot atau parameter yang telah dipelajari, menerima input, lalu menghasilkan output.

Inference tetap memerlukan resource komputasi, terutama untuk:

• Memuat model ke dalam RAM atau VRAM.
• Memproses prompt.
• Menangani context window.
• Menghasilkan token.
• Melayani beberapa pengguna secara bersamaan.

Kebutuhan resource inference akan berbeda untuk setiap model.

Apa Peran Transformer dalam LLM?

Sebagian besar LLM modern menggunakan arsitektur yang disebut Transformer.

Arsitektur Transformer diperkenalkan melalui paper Attention Is All You Need pada 2017. Salah satu komponen pentingnya adalah mekanisme attention, yang memungkinkan model memperhitungkan hubungan antara berbagai token di dalam sebuah rangkaian data.

Sebagai contoh, perhatikan kalimat berikut:

Dimas memasukkan laptop ke dalam tas karena perangkat itu harus dibawa ke kantor.

Untuk memahami bahwa “perangkat itu” merujuk pada “laptop”, model perlu memperhatikan hubungan antara bagian-bagian kalimat.

Artikel pengenalan LLM tidak perlu membahas perhitungan attention secara mendalam. Hal yang perlu dipahami adalah Transformer membantu model memproses konteks dan hubungan antar-token secara lebih efektif serta dapat dilatih secara paralel.

Mengapa LLM Disebut “Large”?

Banyak orang mengira kata large hanya berarti LLM dilatih menggunakan data dalam jumlah besar. Padahal, ukuran LLM mencakup beberapa aspek.

Jumlah Parameter

Parameter menyimpan pola yang dipelajari selama training. Sebuah model bahasa dapat memiliki jutaan hingga miliaran parameter, tergantung desain dan ukurannya.

Jumlah parameter biasanya ditulis dengan format seperti:

• 1B untuk satu miliar parameter.
• 7B untuk tujuh miliar parameter.
• 70B untuk tujuh puluh miliar parameter.

Namun, model dengan parameter lebih banyak tidak selalu menjadi pilihan terbaik. Model kecil dapat lebih cepat, lebih hemat resource, dan cukup untuk tugas tertentu.

Data Pelatihan

LLM membutuhkan data yang luas agar dapat mempelajari banyak pola bahasa, topik, dan jenis tugas.

Selain jumlah data, kualitas dan keberagaman data juga penting. Model yang dilatih menggunakan data tidak seimbang dapat memiliki kemampuan yang berbeda pada setiap bahasa atau kelompok pengguna.

Kebutuhan Komputasi

Training model besar membutuhkan CPU, GPU atau akselerator AI, memori, storage, jaringan, dan daya listrik dalam skala besar.

Kebutuhan inference biasanya lebih ringan dibandingkan training dari awal. Meski demikian, model besar tetap dapat membutuhkan RAM atau VRAM yang sangat besar untuk memuat bobotnya.

Sebagai gambaran, dokumentasi Hugging Face menunjukkan bahwa model dengan puluhan miliar parameter dapat memerlukan memori puluhan hingga ratusan gigabyte, bergantung pada ukuran dan presisi bobot yang digunakan.

Perbedaan AI, Machine Learning, Deep Learning, dan LLM

LLM merupakan bagian dari ekosistem kecerdasan buatan yang lebih luas.

Hierarkinya dapat digambarkan seperti berikut.

1. Artificial Intelligence

Artificial intelligence atau AI merupakan bidang luas yang berfokus pada pembuatan sistem agar dapat melakukan tugas yang biasanya membutuhkan kecerdasan manusia.

Tidak semua sistem AI menggunakan machine learning. Sistem berbasis aturan juga dapat dikategorikan sebagai AI.

2. Machine Learning

Machine learning adalah pendekatan yang memungkinkan sistem mempelajari pola dari data tanpa seluruh aturan ditulis secara manual.

Contohnya meliputi:

• Deteksi spam.
• Prediksi permintaan.
• Sistem rekomendasi.
• Klasifikasi gambar.
• Deteksi transaksi mencurigakan.

3. Deep Learning

Deep learning merupakan bagian dari machine learning yang menggunakan neural network berlapis untuk mempelajari pola yang kompleks.

4. Foundation Model

Foundation model adalah model berskala besar yang dilatih menggunakan data luas dan dapat diadaptasi untuk berbagai tugas lanjutan.

Foundation model tidak selalu berfokus pada teks. Model juga dapat digunakan untuk gambar, suara, video, atau data multimodal.

5. Large Language Model

LLM merupakan foundation model yang berfokus pada bahasa, meskipun sebagian LLM modern juga dapat menerima gambar, suara, atau jenis input lainnya.

Pembahasan lebih lengkap mengenai hierarki tersebut dapat dibaca pada artikel perbedaan AI, machine learning, dan deep learning.

Perbedaan LLM, Generative AI, Chatbot, dan ChatGPT

Istilah LLM, generative AI, chatbot, dan ChatGPT sering digunakan secara bergantian. Padahal, masing-masing memiliki arti berbeda.

1. LLM vs Generative AI

Generative AI adalah kategori sistem AI yang dapat menghasilkan konten baru, seperti:

• Teks.
• Gambar.
• Musik.
• Audio.
• Video.
• Kode.

LLM merupakan bagian dari generative AI yang berfokus pada bahasa. Namun, tidak semua generative AI adalah LLM. Model pembuat gambar atau video, misalnya, dapat menggunakan arsitektur lain.

2. LLM vs Chatbot

LLM adalah model, sedangkan chatbot adalah aplikasi atau antarmuka percakapan.

Sebuah chatbot dapat menggunakan:

• LLM melalui API.
• Model yang dijalankan sendiri.
• Sistem berbasis aturan.
• Kombinasi beberapa pendekatan.

Artinya, tidak semua chatbot menggunakan LLM.

3. LLM vs ChatGPT

LLM adalah teknologi model bahasa, sedangkan ChatGPT adalah aplikasi percakapan yang menggunakan model AI dari OpenAI.

Analogi sederhananya:

Karena itu, ChatGPT bukan nama umum untuk seluruh LLM. Claude, Gemini, dan berbagai aplikasi AI lainnya juga menggunakan model masing-masing.

Penjelasan khusus mengenai aplikasinya dapat dibaca pada artikel apa itu ChatGPT.

Apa yang Bisa Dilakukan LLM?

Kemampuan LLM tidak hanya terbatas pada menjawab pertanyaan. Berikut beberapa penerapannya.

1. Membuat dan Memperbaiki Teks

LLM dapat membantu membuat:

• Draf artikel.
• Deskripsi produk.
• Email.
• Materi promosi.
• Dokumentasi.
• Caption media sosial.
• Kerangka presentasi.

Hasilnya tetap perlu ditinjau oleh manusia untuk memastikan akurasi, kesesuaian konteks, dan gaya bahasa.

2. Membuat Ringkasan

Model dapat merangkum dokumen panjang menjadi poin-poin yang lebih singkat.

Fungsi ini dapat digunakan untuk:

• Laporan perusahaan.
• Notulen rapat.
• Dokumen teknis.
• Tiket customer service.
• Kumpulan ulasan pelanggan.

3. Menerjemahkan Bahasa

LLM dapat menerjemahkan dan menyesuaikan gaya tulisan. Namun, kualitasnya dapat berbeda-beda untuk setiap bahasa, terutama jika bahasa tersebut memiliki data pelatihan yang lebih terbatas.

4. Membantu Coding

Developer dapat menggunakan LLM untuk:

• Membuat potongan kode.
• Menjelaskan kode.
• Membantu menemukan error.
• Membuat unit test.
• Menyusun dokumentasi.
• Membantu proses refactoring.

Kode yang dihasilkan tetap harus diuji karena model dapat membuat fungsi yang tidak berjalan, menggunakan library lama, atau menghasilkan implementasi yang tidak aman.

5. Menganalisis Dokumen

LLM dapat digunakan untuk mencari, mengelompokkan, dan mengekstrak informasi dari dokumen.

Contohnya:

• Menemukan pasal tertentu dalam kontrak.
• Mengelompokkan laporan pelanggan.
• Mengambil nama produk dari invoice.
• Menjawab pertanyaan berdasarkan dokumentasi internal.

6. Membuat Chatbot Customer Service

Perusahaan dapat mengintegrasikan LLM ke website untuk menjawab pertanyaan pelanggan.

Alurnya dapat terlihat seperti berikut:

Chatbot sebaiknya tetap menyediakan jalur eskalasi ke staf manusia, khususnya untuk pertanyaan yang sensitif, kompleks, atau berkaitan dengan transaksi.

7. Meningkatkan Fitur Pencarian

LLM dapat digabungkan dengan semantic search agar pencarian tidak hanya bergantung pada kecocokan kata.

Misalnya, pengguna mencari:

Cara mempercepat toko online yang pengunjungnya mulai ramai.

Sistem dapat menampilkan pembahasan mengenai caching, optimasi database, CDN, atau upgrade server meskipun halaman tersebut tidak menggunakan kalimat yang persis sama.

Contoh LLM yang Banyak Digunakan

Berikut beberapa keluarga model bahasa yang banyak digunakan dalam pengembangan aplikasi AI.

Keluarga Model	Pengembang	Cara Akses	Contoh Penggunaan
GPT	OpenAI	API, aplikasi terkelola, dan model tertentu dengan bobot terbuka	Chatbot, coding, analisis, agen AI
Claude	Anthropic	API, aplikasi terkelola, dan platform cloud partner	Analisis dokumen, coding, customer service
Gemini	Google	API dan layanan terkelola Google	Teks, coding, dan aplikasi multimodal
Llama	Meta	Bobot model dapat diunduh berdasarkan lisensi Meta dan tersedia melalui cloud partner	Self-hosting, fine-tuning, eksperimen
Qwen	Qwen Team/Alibaba	Model open-weight dan layanan terkelola, bergantung versi	Multibahasa, coding, dan aplikasi AI
Mistral	Mistral AI	API serta sejumlah model open-weight	Aplikasi enterprise, coding, dan deployment

Ketersediaan model, lisensi, versi, serta cara akses dapat berubah. Oleh karena itu, developer perlu memeriksa dokumentasi resmi sebelum menggunakan sebuah model untuk aplikasi produksi.

Kelebihan LLM

LLM menawarkan beberapa kelebihan yang membuatnya dapat digunakan untuk berbagai kebutuhan.

1. Memahami Instruksi Bahasa Alami

Pengguna tidak harus mempelajari sintaks khusus untuk menggunakan LLM. Instruksi dapat diberikan menggunakan bahasa sehari-hari.

2. Fleksibel untuk Berbagai Tugas

Satu model dapat digunakan untuk membuat ringkasan, menjawab pertanyaan, mengklasifikasikan teks, atau menghasilkan kode.

3. Mudah Diintegrasikan

Banyak penyedia menyediakan API sehingga developer dapat menambahkan kemampuan AI ke website atau aplikasi tanpa melatih model dari awal.

4. Mendukung Otomatisasi

LLM dapat menjadi bagian dari workflow otomatis, misalnya:

• Membaca tiket customer service.
• Menentukan kategori masalah.
• Membuat draf jawaban.
• Meneruskan kasus rumit kepada staf.

5. Dapat Dikombinasikan dengan Data Perusahaan

LLM dapat digabungkan dengan database, dokumen, API, dan sistem internal agar output lebih relevan dengan kebutuhan perusahaan.

Kekurangan dan Keterbatasan LLM

Meskipun memiliki banyak kemampuan, LLM bukan sumber informasi yang selalu benar.

1. Dapat Menghasilkan Hallucination

Hallucination adalah kondisi ketika model menghasilkan informasi yang terlihat masuk akal, tetapi sebenarnya salah atau tidak didukung sumber yang valid.

Hal ini dapat terjadi karena model bekerja dengan menghasilkan token yang dianggap paling sesuai, bukan dengan memverifikasi seluruh klaim seperti mesin pemeriksa fakta. OpenAI juga menjelaskan bahwa hallucination masih menjadi tantangan mendasar pada model bahasa.

2. Tidak Selalu Memiliki Informasi Terbaru

Model memiliki batas data pelatihan. Sebagian aplikasi dapat menggunakan web search atau tools eksternal, tetapi kemampuan tersebut berasal dari sistem tambahan, bukan hanya dari pengetahuan internal model.

3. Dapat Mengandung Bias

Model dapat mempelajari bias yang terdapat dalam data pelatihan. Karena itu, output perlu dievaluasi, terutama jika digunakan untuk rekrutmen, keuangan, kesehatan, hukum, atau keputusan berisiko tinggi.

4. Memiliki Batas Context Window

Model tidak selalu dapat memproses percakapan atau dokumen tanpa batas. Ketika jumlah token melebihi context window, sebagian informasi perlu diringkas, dipotong, atau diambil secara selektif.

5. Membutuhkan Resource Komputasi

Model besar membutuhkan RAM, VRAM, storage, dan compute yang tinggi. Kebutuhan tersebut bertambah ketika context window diperbesar atau jumlah pengguna meningkat.

6. Menimbulkan Biaya Operasional

Penggunaan API umumnya menimbulkan biaya berdasarkan token atau penggunaan. Sementara itu, self-hosting menimbulkan biaya server, bandwidth, monitoring, keamanan, dan pengelolaan model.

Komponen untuk Membuat Aplikasi Berbasis LLM

Aplikasi AI tidak hanya terdiri dari sebuah model. Developer biasanya membutuhkan beberapa komponen berikut.

1. Model atau LLM API

Model dapat diakses melalui:

• API penyedia LLM.
• Platform inference pihak ketiga.
• Model open-weight yang dijalankan sendiri.

Pemilihan model perlu mempertimbangkan kemampuan, latency, biaya, lisensi, privasi, dan kebutuhan resource.

2. Backend Aplikasi

Backend menghubungkan pengguna dengan model.

Tugas backend dapat mencakup:

• Menerima pertanyaan.
• Membuat prompt.
• Mengirim permintaan ke API.
• Menyimpan histori.
• Mengelola pengguna.
• Melakukan autentikasi.
• Menjaga API key.
• Menerapkan rate limiting.
• Menangani error.

API key tidak boleh disimpan langsung pada kode frontend karena dapat dilihat dan disalahgunakan oleh pengguna.

3. Database

Database digunakan untuk menyimpan data seperti:

• Akun pengguna.
• Histori percakapan.
• Pengaturan aplikasi.
• Log penggunaan.
• Status transaksi.
• Feedback pengguna.

4. Vector Database

Vector database menyimpan representasi numerik atau embedding dari teks dan data lainnya.

Ketika pengguna mengajukan pertanyaan, sistem dapat mencari potongan dokumen yang secara makna paling relevan. Pembahasan lebih lengkap tersedia pada artikel mengenai vector database.

5. Retrieval-Augmented Generation

Retrieval-Augmented Generation atau RAG adalah pendekatan yang mengambil informasi dari sumber eksternal terlebih dahulu, kemudian menambahkan informasi tersebut ke konteks sebelum LLM menghasilkan jawaban.

Alur sederhananya:

RAG banyak digunakan untuk chatbot dokumentasi, knowledge base perusahaan, customer service, dan pencarian dokumen internal. Konsep RAG menggabungkan model generatif dengan sumber pengetahuan eksternal yang dapat diambil saat dibutuhkan.

RAG dapat membantu memberikan konteks, tetapi tidak menjamin jawaban selalu benar. Sistem tetap perlu mengevaluasi kualitas dokumen, hasil retrieval, prompt, dan output model.

6. Antarmuka Pengguna

Antarmuka dapat berupa:

• Widget chatbot.
• Dashboard internal.
• Aplikasi mobile.
• Website.
• Bot pesan instan.
• Extension browser.

7. Monitoring dan Keamanan

Aplikasi perlu memiliki:

• Logging.
• Monitoring penggunaan token.
• Rate limiting.
• Pengamanan API key.
• Backup database.
• Filter input dan output.
• Pembatasan akses.
• Audit aktivitas.
• Mekanisme eskalasi.

Menggunakan API atau Menjalankan LLM Sendiri?

Setelah memilih model, developer perlu menentukan cara menjalankannya.

Dua opsi utamanya adalah menggunakan API atau melakukan self-hosting.

Pertimbangan	Menggunakan API	Self-Hosted
Proses awal	Cepat dan praktis	Memerlukan setup server
Infrastruktur model	Dikelola penyedia	Dikelola sendiri
Biaya	Berdasarkan token atau penggunaan	Berdasarkan server dan operasional
Kontrol	Mengikuti fitur penyedia	Lebih fleksibel
Pilihan model	Terbatas pada katalog penyedia	Dapat memilih model open-weight
Maintenance	Relatif sedikit	Perlu update dan monitoring
Scaling	Umumnya ditangani penyedia	Harus dirancang sendiri
Privasi	Data diproses sesuai kebijakan penyedia	Dapat dikendalikan pada infrastruktur sendiri
Keahlian teknis	Lebih rendah	Lebih tinggi
Waktu ke produksi	Lebih cepat	Cenderung lebih lama

Kapan Sebaiknya Menggunakan API?

API lebih sesuai ketika:

• Sedang membuat MVP.
• Ingin cepat menguji ide.
• Belum memiliki tim pengelola model.
• Membutuhkan model dengan kemampuan tinggi.
• Trafik masih sulit diprediksi.
• Tidak ingin mengelola inference server.
• Biaya penggunaan masih terkendali.

Menggunakan API bukan berarti aplikasi tidak membutuhkan server. Backend, database, autentikasi, RAG, dan antarmuka aplikasi tetap harus dijalankan pada infrastruktur tertentu.

Kapan Self-Hosted Lebih Sesuai?

Self-hosting dapat dipertimbangkan ketika:

• Membutuhkan kontrol lebih besar.
• Ingin menggunakan model open-weight.
• Memiliki persyaratan data tertentu.
• Membutuhkan kustomisasi khusus.
• Ingin menghindari ketergantungan penuh pada satu API.
• Memiliki tim yang mampu mengelola server.
• Resource dan biaya operasional sudah diperhitungkan.

Self-hosted tidak selalu lebih murah. Biaya hardware, server, storage, bandwidth, monitoring, backup, dan tenaga operasional tetap perlu dihitung.

Pendekatan Hybrid

Dalam banyak kasus, pendekatan hybrid lebih realistis.

Sebagai contoh:

• Backend dijalankan pada Cloud VPS.
• Database dan vector database berada di server sendiri.
• Dokumen RAG dikelola oleh perusahaan.
• Inference menggunakan API penyedia LLM.
• Model kecil tertentu dijalankan secara lokal untuk tugas khusus.

Pendekatan ini memungkinkan developer tetap mengontrol aplikasi dan data tanpa harus langsung menyediakan server GPU untuk model besar.

Mengapa Aplikasi LLM Membutuhkan Server?

Server digunakan untuk menjalankan berbagai komponen yang mendukung aplikasi.

1. Menjalankan Backend dan API

Server menerima permintaan dari pengguna, memvalidasi input, menghubungkan aplikasi dengan LLM, dan mengirimkan hasilnya kembali.

2. Menyimpan Database

Aplikasi perlu menyimpan akun, histori percakapan, konfigurasi, feedback, dan data operasional lainnya.

3. Menjalankan RAG

Pipeline RAG memerlukan proses untuk:

• Mengunggah dokumen.
• Membagi dokumen menjadi beberapa bagian.
• Membuat embedding.
• Menyimpan embedding.
• Melakukan pencarian.
• Menyusun prompt.
• Mengirim konteks ke model.

3. Menjaga API Key

API key harus disimpan pada server agar tidak terlihat oleh pengguna frontend.

4. Menjalankan Model Self-Hosted

Jika memilih self-hosted, server juga bertugas memuat bobot model dan menjalankan inference.

5. Melayani Banyak Pengguna

Semakin banyak pengguna, semakin tinggi kebutuhan terhadap:

• CPU.
• RAM.
• GPU atau VRAM.
• Bandwidth.
• Kapasitas database.
• Queue.
• Load balancing.
• Monitoring.

Apakah LLM Bisa Dijalankan di VPS?

LLM dapat dijalankan di VPS apabila ukuran model dan kebutuhan resource-nya sesuai dengan spesifikasi server. Model kecil atau model yang telah melalui quantization dapat berjalan menggunakan CPU dan RAM. Namun, model besar atau aplikasi yang membutuhkan respons cepat biasanya memerlukan GPU.

Beberapa faktor yang perlu diperiksa adalah:

• Jumlah parameter.
• Format dan tingkat presisi model.
• Kebutuhan RAM.
• Kebutuhan VRAM.
• Panjang context window.
• Jumlah pengguna bersamaan.
• Target kecepatan respons.
• Kapasitas storage.
• Dukungan software.

CPU

CPU dapat digunakan untuk menjalankan model kecil, melakukan embedding, mengelola database, dan menjalankan backend.

Inference berbasis CPU umumnya lebih lambat dibandingkan GPU, terutama untuk model berukuran besar.

GPU dan VRAM

GPU dirancang untuk melakukan banyak operasi secara paralel. Karena itu, GPU sering digunakan untuk mempercepat training dan inference.

VRAM menjadi faktor penting karena bobot model perlu dimuat ke dalam memori. Jika VRAM tidak cukup, sebagian proses dapat dialihkan ke RAM atau CPU, tetapi kecepatannya dapat menurun.

RAM

RAM dibutuhkan untuk:

• Memuat bagian model.
• Menangani proses aplikasi.
• Menjalankan database.
• Menangani context window.
• Melayani permintaan paralel.

Storage

File model dapat berukuran beberapa gigabyte hingga ratusan gigabyte.

Selain kapasitas, kecepatan storage juga berpengaruh terhadap proses memuat model, database, index, dan dokumen. Dokumentasi Ollama menyebutkan bahwa penyimpanan model dapat membutuhkan ruang puluhan hingga ratusan gigabyte.

Bandwidth

Bandwidth dibutuhkan ketika:

• Mengunduh model.
• Mengunggah dokumen.
• Mengakses API eksternal.
• Melayani pengguna.
• Memindahkan data antarlayanan.

Apa Itu Quantization?

Quantization adalah teknik untuk menyimpan bobot model menggunakan presisi yang lebih rendah.

Sebagai contoh, model yang awalnya menggunakan nilai 16-bit dapat diubah menjadi 8-bit atau 4-bit. Dengan begitu, penggunaan memori dapat dikurangi.

Keuntungan quantization antara lain:

• Ukuran model lebih kecil.
• Kebutuhan RAM atau VRAM lebih rendah.
• Model dapat dijalankan pada hardware yang lebih terbatas.
• Inference dalam beberapa kondisi menjadi lebih cepat.

Namun, quantization juga memiliki kompromi. Semakin rendah presisinya, kualitas atau akurasi model dapat mengalami penurunan. Hasilnya bergantung pada model dan metode quantization yang digunakan.

Peran Cloud VPS dalam Aplikasi LLM

Cloud VPS dapat digunakan untuk berbagai komponen aplikasi berbasis LLM.

1. Menjalankan Backend Chatbot

Backend dapat dibuat menggunakan Node.js, Python, PHP, Go, atau framework lainnya.

2. Menyediakan API Internal

Perusahaan dapat membuat endpoint API sendiri untuk mengakses model, database, dan layanan internal.

3. Menjalankan Vector Database

Vector database dapat dijalankan pada server yang sama untuk skala kecil atau dipisahkan ketika kebutuhan mulai meningkat.

4. Menjalankan Pipeline RAG

Cloud VPS dapat digunakan untuk memproses dokumen, membuat embedding, menyimpan index, dan mengatur alur RAG.

5. Menjalankan Antarmuka LLM

Aplikasi seperti Ollama dan Open WebUI dapat digunakan untuk membuat antarmuka model yang dijalankan sendiri. Panduan implementasinya dapat dibaca pada artikel cara menggunakan Ollama dan Open WebUI.

6. Menjalankan Model Kecil

Model kecil atau model terkuantisasi dapat dijalankan pada VPS berbasis CPU jika kebutuhan RAM, storage, dan performanya masih sesuai.

Namun, Cloud VPS berbasis CPU tidak dapat dianggap sebagai pengganti server GPU untuk semua model. Model yang besar atau membutuhkan latency rendah perlu menggunakan server yang memang memiliki GPU dengan VRAM memadai.

Halaman Cloud VPS Turbo DomaiNesia mencantumkan dukungan CPU AMD EPYC Genoa, RAM, SSD NVMe, networking, dan automatic failover. Infrastruktur tersebut relevan untuk backend, database, RAG, API, serta workload berbasis CPU, sedangkan kebutuhan GPU harus diperiksa secara terpisah.

Contoh Implementasi LLM pada Website Perusahaan

Misalnya, sebuah perusahaan memiliki ribuan dokumen panduan produk dan ingin membuat chatbot customer service.

Arsitekturnya dapat berupa:

Pada arsitektur tersebut, Cloud VPS tidak harus menjalankan model utamanya.

Cloud VPS dapat digunakan untuk:

• Menjalankan website chatbot.
• Menjalankan backend.
• Menyimpan histori.
• Mengelola pengguna.
• Menjalankan vector database.
• Memproses dokumen.
• Melindungi API key.
• Menerapkan rate limiting.
• Menjalankan monitoring.

Sementara itu, inference model dapat menggunakan API eksternal. Jika perusahaan ingin beralih ke model self-hosted, komponen lainnya tidak harus dibangun ulang dari awal.

Cara Memilih Model dan Infrastruktur LLM

Jangan memilih model hanya berdasarkan jumlah parameter atau popularitasnya.

Gunakan beberapa pertanyaan berikut.

Apa Tugas Utamanya?

Tentukan apakah model akan digunakan untuk:

• Chatbot.
• Coding.
• Ringkasan.
• Klasifikasi.
• Ekstraksi data.
• Pencarian dokumen.
• Pembuatan konten.
• Pemrosesan multimodal.

Seberapa Akurat Hasil yang Dibutuhkan?

Untuk tugas berisiko rendah seperti brainstorming, toleransi kesalahan mungkin lebih tinggi.

Untuk layanan keuangan, hukum, kesehatan, atau transaksi, diperlukan evaluasi dan pengawasan yang lebih ketat.

Berapa Banyak Penggunanya?

Jumlah pengguna memengaruhi:

• Jumlah permintaan paralel.
• Kapasitas server.
• Biaya API.
• Queue.
• Target latency.

Apakah Data Boleh Dikirim ke Pihak Ketiga?

Periksa kebijakan privasi, lokasi pemrosesan data, retensi, dan ketentuan penggunaan penyedia API.

Apakah Tim Siap Mengelola Model?

Self-hosted membutuhkan kemampuan dalam:

• Linux.
• Container.
• Networking.
• Deployment.
• Monitoring.
• Keamanan.
• Optimasi model.
• Pengelolaan resource.

Berapa Anggaran Operasionalnya?

Bandingkan biaya secara menyeluruh.

Biaya API dapat mencakup:

• Input token.
• Output token.
• Embedding.
• Penyimpanan.
• Tools tambahan.

Sementara itu, biaya self-hosted dapat mencakup:

• Server.
• GPU.
• Storage.
• Bandwidth.
• Backup.
• Monitoring.
• Tenaga pengelola.

Kesimpulan

LLM atau Large Language Model adalah model AI yang dilatih menggunakan data bahasa berskala besar agar dapat memahami instruksi dan menghasilkan teks, kode, ringkasan, terjemahan, serta berbagai output lainnya.

Model bekerja dengan mengubah input menjadi token, memproses token berdasarkan parameter yang dipelajari selama training, lalu memprediksi token berikutnya sampai membentuk jawaban.

LLM berbeda dari chatbot atau ChatGPT. LLM adalah model yang menjadi mesin pemroses bahasa, sedangkan chatbot dan ChatGPT merupakan aplikasi yang memanfaatkan model tersebut.

Untuk membangun aplikasi berbasis LLM, developer dapat menggunakan API atau menjalankan model sendiri. API lebih praktis untuk memulai, sedangkan self-hosted memberikan kontrol lebih besar tetapi membutuhkan resource dan pengelolaan tambahan.

Cloud VPS dapat digunakan untuk backend aplikasi, database, vector database, pipeline RAG, API server, serta model kecil yang sesuai dengan CPU dan RAM. Namun, model besar dengan kebutuhan komputasi tinggi biasanya memerlukan server GPU.

FAQ tentang LLM

1. Apakah ChatGPT termasuk LLM?

ChatGPT bukan nama model secara umum. ChatGPT adalah aplikasi percakapan dari OpenAI yang menggunakan model bahasa dari keluarga GPT.

2. Apakah semua AI merupakan LLM?

Tidak. LLM hanya salah satu jenis model AI. Sistem rekomendasi, deteksi objek, prediksi cuaca, dan robotika dapat menggunakan model AI yang bukan LLM.

3. Apa perbedaan LLM dan chatbot?

LLM adalah model yang memproses bahasa, sedangkan chatbot adalah aplikasi yang digunakan untuk berkomunikasi dengan pengguna. Chatbot dapat menggunakan LLM atau sistem berbasis aturan.

4. Apakah LLM dapat berjalan tanpa internet?

Bisa. Model yang sudah diunduh dapat dijalankan secara lokal apabila seluruh software dan resource tersedia. Internet masih dibutuhkan untuk proses download, update, API eksternal, atau integrasi online.

5. Apakah LLM bisa dijalankan di VPS?

Bisa, selama ukuran dan kebutuhan model sesuai dengan RAM, CPU, storage, serta GPU yang tersedia. Model kecil lebih memungkinkan dijalankan pada VPS berbasis CPU.

6. Apakah LLM selalu membutuhkan GPU?

Tidak. LLM dapat dijalankan menggunakan CPU, terutama untuk model kecil atau model terkuantisasi. Namun, GPU dapat meningkatkan kecepatan inference dan dibutuhkan untuk model yang lebih besar.

7. Apa perbedaan API LLM dan self-hosted LLM?

Pada API, model dan infrastruktur inference dikelola oleh penyedia layanan. Pada self-hosted, developer mengunduh dan menjalankan model pada server yang dikelola sendiri.

8. Apakah model yang lebih besar selalu lebih baik?

Tidak. Model yang lebih besar dapat memiliki kemampuan lebih luas, tetapi juga membutuhkan resource dan biaya lebih tinggi. Model kecil dapat lebih sesuai untuk tugas yang spesifik, cepat, dan berulang.

9. Apa perbedaan LLM dan generative AI?

Generative AI merupakan kategori sistem AI yang dapat menghasilkan konten. LLM adalah bagian dari generative AI yang berfokus pada pemrosesan dan pembuatan bahasa.

10. Apakah jawaban LLM selalu benar?

Tidak. LLM dapat menghasilkan hallucination atau informasi yang terlihat meyakinkan tetapi salah. Informasi penting tetap harus diperiksa menggunakan sumber yang tepercaya.