Apa Itu Context Engineering? Cara Kerja dan Perannya dalam Aplikasi AI

Dua aplikasi AI dapat menggunakan model bahasa yang sama, tetapi memberikan kualitas jawaban yang berbeda. Salah satu penyebabnya adalah informasi yang tersedia bagi model ketika memproses permintaan pengguna.

Prompt yang jelas memang penting. Namun, model juga membutuhkan informasi pendukung yang relevan, seperti riwayat percakapan, dokumen, hasil pencarian, data dari tool, hingga status pekerjaan sebelumnya. Cara mengatur seluruh informasi inilah yang menjadi bagian dari context engineering.

Context engineering semakin penting ketika aplikasi AI berkembang dari chatbot sederhana menjadi AI agent yang dapat mencari informasi, menggunakan tool, dan menjalankan tugas dalam beberapa tahap. Mari pelajari cara kerjanya lebih lanjut.

Apa Itu Context Engineering?

Context engineering adalah praktik memilih, menyusun, memperbarui, dan mengelola informasi yang diberikan kepada Large Language Model (LLM) selama proses inferensi.

Artinya, context tidak hanya berupa prompt yang diketik pengguna. Informasi yang dapat masuk ke context juga mencakup system instruction, riwayat percakapan, dokumen hasil retrieval, definisi tool, memori, hingga output dari proses sebelumnya.

Istilah context engineering mulai mendapat perhatian luas pada 2025 seiring berkembangnya aplikasi AI berbasis agent. Pada sistem seperti ini, kualitas hasil tidak hanya ditentukan oleh bagaimana instruksi ditulis, tetapi juga oleh informasi apa yang tersedia ketika model harus menentukan langkah berikutnya.

Bayangkan LLM sebagai pekerja baru yang memiliki kemampuan analisis, tetapi belum mengetahui kondisi perusahaanmu. Instruksi seperti “tangani permintaan refund pelanggan” belum cukup jika model tidak mengetahui transaksi pelanggan, kebijakan refund terbaru, dan status tiket yang sedang berjalan.

Context engineering bertugas menyediakan informasi yang dibutuhkan tersebut dalam jumlah dan waktu yang tepat.

Context Engineering vs Prompt Engineering

Prompt engineering dan context engineering saling berkaitan, tetapi cakupannya berbeda.

Prompt engineering berfokus pada cara menulis instruksi agar model memahami tujuan, batasan, format output, atau gaya respons yang diinginkan.

Context engineering memiliki cakupan lebih luas karena mengatur seluruh informasi yang tersedia di sekitar instruksi tersebut.

Sebagai contoh, prompt engineering dapat menghasilkan instruksi:

Instruksi tersebut menentukan apa yang harus dilakukan model. Namun, model belum mengetahui siapa pelanggannya, transaksi mana yang dimaksud, atau bagaimana status refund saat ini.

Dengan context engineering, aplikasi dapat menambahkan data transaksi, status tiket, kebijakan refund terbaru, dan riwayat komunikasi yang relevan sebelum permintaan dikirim ke model.

Dengan demikian, prompt engineering dapat dianggap sebagai salah satu bagian dari context engineering. Prompt mengatur instruksi, sedangkan context engineering mengelola lingkungan informasi yang digunakan model untuk menjalankan instruksi tersebut.

Komponen yang Membentuk Context

Context yang diterima model biasanya berasal dari beberapa lapisan informasi. Tidak semua aplikasi membutuhkan seluruh komponen berikut, tetapi semakin kompleks sistemnya, semakin banyak sumber context yang perlu dikelola.

• Instruksi sistem atau system prompt. Berisi aturan, peran, batasan, serta perilaku dasar model. Instruksi ini sering relatif stabil, tetapi tetap dapat berbeda sesuai aplikasi atau sesi.
• Riwayat percakapan. Berisi pesan yang terjadi sebelumnya. Riwayat membantu model memahami pembahasan, tetapi pesan lama yang sudah tidak relevan dapat menambah noise.
• Data hasil retrieval. Berupa potongan dokumen atau data yang dicari berdasarkan permintaan saat ini. Semantic search dapat menggunakan teknologi seperti database vektor untuk menemukan informasi berdasarkan kemiripan makna.
• Definisi tool. Berisi deskripsi fungsi dan parameter tool yang dapat digunakan model untuk memperoleh informasi atau melakukan tindakan.
• Memori. Menyimpan informasi yang perlu digunakan kembali, baik dalam satu sesi maupun lintas sesi, tergantung desain aplikasi.
• State dan output sebelumnya. Pada workflow bertahap, hasil sebuah proses dapat menjadi input bagi proses berikutnya.

Tantangannya bukan memasukkan seluruh informasi tersebut sekaligus. Sistem perlu menentukan bagian mana yang benar-benar dibutuhkan untuk tugas yang sedang dijalankan.

Peran Context Engineering dalam LLM dan AI Agent

Pada chatbot sederhana, context dapat terdiri dari instruksi sistem, pertanyaan pengguna, dan beberapa pesan percakapan sebelumnya.

Kebutuhannya menjadi lebih kompleks pada AI agent. Agent dapat menerima tujuan, mencari informasi, menggunakan tool, membaca hasilnya, kemudian menentukan tindakan berikutnya.

Setiap langkah menghasilkan informasi baru. Jika semua output langsung ditambahkan ke context tanpa pengelolaan, context dapat dipenuhi log panjang, data yang sudah tidak relevan, dan hasil tool dari langkah sebelumnya.

Context engineering membantu memilih bagian yang masih penting sebelum model melakukan inferensi berikutnya.

Pada tahap ini, protokol seperti MCP juga dapat menjadi bagian dari arsitektur. MCP menyediakan cara terstandar bagi aplikasi AI untuk terhubung dengan resources, prompts, dan tools dari sistem eksternal.

MCP dan context engineering memiliki peran berbeda. MCP membantu menyediakan jalur menuju data atau kemampuan eksternal, sedangkan context engineering menentukan informasi apa yang sebaiknya digunakan model pada suatu tahap.

Konsep serupa juga terlihat ketika membandingkan RAG dan MCP. RAG berfokus pada pencarian informasi yang relevan, sedangkan MCP berfokus pada integrasi dengan resource atau tool eksternal.

Pada praktiknya, resource eksternal yang dibutuhkan agent dapat berasal dari sistem tempat aplikasi atau website berjalan. AI Agent Access berbasis MCP di Web Hosting DomaiNesia, misalnya, memungkinkan AI agent mengakses resource hosting sesuai level izin yang diberikan.

Bagaimana Context Pipeline Bekerja?

Context pipeline adalah proses yang menyiapkan informasi sebelum dikirim kepada model. Implementasinya dapat berbeda pada setiap aplikasi, tetapi alur sederhananya dapat digambarkan sebagai berikut.

1. Pada tahap pertama, sistem menerima permintaan dari pengguna. Permintaan ini bisa berupa pertanyaan, instruksi, atau tujuan tertentu yang dikirimkan melalui aplikasi. Semua proses dalam context engineering selalu dimulai dari input awal ini, karena disinilah sistem memahami apa yang sebenarnya diinginkan oleh pengguna.
2. Setelah permintaan diterima, sistem kemudian menentukan kebutuhan informasi tambahan yang diperlukan untuk memproses permintaan tersebut. Pada tahap ini, model atau sistem akan menganalisis apakah informasi yang diberikan sudah cukup atau masih membutuhkan data pendukung agar hasil yang dihasilkan lebih akurat dan relevan.
3. Tahap ketiga adalah retrieval, yaitu proses pencarian data yang relevan dari berbagai sumber. Data ini bisa berasal dari dokumen, database, API, memori sistem, atau sumber eksternal lainnya. Tujuan dari tahap ini adalah mengumpulkan informasi yang dapat memperkaya konteks sebelum diproses lebih lanjut oleh model.
4. Setelah data terkumpul, sistem melakukan seleksi dan kompresi informasi. Pada tahap ini, informasi yang tidak relevan akan dibuang, sementara data yang penting akan diringkas atau diprioritaskan. Proses ini sangat penting untuk memastikan bahwa hanya konteks yang benar-benar berguna yang masuk ke tahap berikutnya.
5. Selanjutnya, sistem menyusun context secara keseluruhan. Pada tahap ini, berbagai elemen seperti system instruction, input dari pengguna, hasil retrieval, serta informasi tambahan lainnya digabungkan menjadi satu kesatuan konteks yang siap digunakan oleh model sebelum proses inferensi dilakukan.
6. Setelah context tersusun dengan baik, model mulai memproses informasi tersebut. Pada tahap ini, LLM akan menganalisis seluruh konteks yang diberikan untuk menghasilkan respons yang sesuai atau menentukan apakah diperlukan penggunaan tool tertentu untuk menyelesaikan tugas yang diminta.
7. Tahap terakhir adalah pembaruan state. Informasi penting yang dihasilkan dari proses sebelumnya dapat disimpan oleh sistem untuk digunakan kembali pada langkah atau interaksi berikutnya. Hal ini memungkinkan sistem untuk memiliki memori jangka pendek atau jangka panjang yang mendukung proses context engineering secara berkelanjutan.

Tahap seleksi menjadi penting karena context window memiliki kapasitas terbatas. Menambahkan semua informasi yang tersedia tidak otomatis menghasilkan respons yang lebih baik.

Context pipeline yang baik justru berusaha memberikan informasi dengan signal-to-noise ratio tinggi, yaitu cukup lengkap untuk menyelesaikan tugas tanpa dipenuhi data yang tidak relevan.

Strategi Utama dalam Context Engineering

Context engineering dapat dikelompokkan menjadi empat strategi utama, yaitu write, select, compress, dan isolate.

1. Write: Menyimpan Informasi untuk Digunakan Kembali

Write berarti menyimpan informasi yang akan diperlukan pada tahap berikutnya.

Contohnya adalah membuat ringkasan percakapan, menyimpan rencana kerja agent, mencatat hasil analisis, atau menuliskan informasi penting ke state atau memori.

Tujuannya bukan memasukkan informasi tersebut terus-menerus ke context window, tetapi memastikan informasi dapat ditemukan kembali ketika dibutuhkan.

2. Select: Memilih Informasi yang Relevan

Select berarti menentukan informasi mana yang perlu dimasukkan ke context untuk tugas saat ini.

Sistem dapat memilih dokumen berdasarkan semantic search, mengambil beberapa pesan terakhir, memilih memori yang relevan, atau hanya menyediakan tool yang berhubungan dengan pekerjaan tersebut.

Seleksi yang baik mengurangi kemungkinan model terdistraksi oleh informasi yang tidak memiliki hubungan langsung dengan tugas.

3. Compress: Memadatkan Context

Compress digunakan ketika informasi penting terlalu panjang untuk dimasukkan seluruhnya.

Riwayat percakapan dapat diringkas, hasil pencarian dapat dipangkas, atau output tool yang sangat panjang dapat diubah menjadi poin penting.

Tujuannya adalah mengurangi penggunaan token tanpa membuang informasi yang diperlukan untuk mengambil keputusan.

4. Isolate: Memisahkan Context

Isolate berarti memisahkan informasi berdasarkan tugas atau ruang kerja.

Dalam arsitektur multi-agent, misalnya, setiap sub-agent dapat memperoleh context sendiri sesuai tugas yang dikerjakan. Hasil akhirnya kemudian dikembalikan dalam bentuk ringkasan kepada agent utama.

Pendekatan tersebut mencegah satu context window dipenuhi seluruh detail pekerjaan yang sebenarnya hanya relevan bagi satu sub-tugas.

Keempat strategi ini dapat digunakan bersamaan. Agent dapat memilih informasi yang relevan, menyimpan hasil penting, memadatkan output yang panjang, kemudian mengisolasi pekerjaan tertentu kepada sub-agent.

Contoh Penerapan Context Engineering

Context engineering dapat diterapkan pada berbagai jenis aplikasi AI.

Coding Assistant

Coding assistant tidak harus memasukkan seluruh repository ke context. Sistem dapat memilih file, fungsi, dokumentasi, error log, atau perubahan Git yang berhubungan dengan masalah yang sedang dikerjakan.

Dengan cara ini, model memperoleh informasi yang berhubungan langsung dengan pekerjaan tanpa harus memproses seluruh isi project.

Customer Support

Chatbot customer support dapat memperoleh informasi dari riwayat tiket, data transaksi, profil akun, dan kebijakan terbaru sebelum menyusun respons.

Dengan demikian, model tidak hanya menghasilkan jawaban yang terdengar tepat, tetapi juga memiliki informasi yang relevan dengan kasus pengguna.

AI Agent untuk Infrastruktur Hosting

AI agent dapat menggunakan tool untuk membaca informasi seperti struktur file, database, konfigurasi domain, atau status deployment.

Hasil penggunaan tool tersebut kemudian menjadi salah satu sumber informasi yang dapat dipertimbangkan pada langkah berikutnya. Context engineering menentukan bagian mana yang masih relevan untuk dipertahankan dan bagian mana yang tidak perlu terus dibawa ke context.

Analisis Dokumen Panjang

Untuk dokumen berukuran besar, aplikasi dapat memecah konten menjadi beberapa bagian, membuat indeks, kemudian mengambil hanya potongan yang berkaitan dengan pertanyaan pengguna.

Dengan cara tersebut, model tidak harus menerima seluruh dokumen setiap kali pengguna mengajukan pertanyaan.

Tantangan dalam Context Engineering

Mengelola context juga memiliki sejumlah tantangan yang perlu diperhatikan.

Context yang Terlalu Panjang

Context window yang besar tidak berarti semua informasi di dalamnya akan digunakan model dengan kualitas yang sama.

Informasi penting dapat tertutup oleh banyak data yang tidak relevan. Karena itu, context sebaiknya dipilih berdasarkan kebutuhan, bukan sekadar kapasitas maksimum model.

Penggunaan Token, Latency, dan Biaya

Context yang lebih besar membutuhkan lebih banyak token untuk diproses. Pada aplikasi dengan volume permintaan tinggi, pengelolaan context dapat berpengaruh terhadap latency dan biaya inferensi.

Seleksi dan kompresi dapat membantu mengurangi beban tersebut tanpa menghilangkan informasi yang benar-benar dibutuhkan.

Context yang Sudah Tidak Relevan

Riwayat lama, data kedaluwarsa, atau output dari langkah sebelumnya dapat terus terbawa walaupun sudah tidak berhubungan dengan tugas saat ini.

Sistem perlu menentukan kapan informasi harus dipertahankan, diperbarui, diringkas, atau dibuang.

Keamanan Context

Data dari dokumen, website, tool, atau sumber eksternal tidak selalu dapat dipercaya.

Konten eksternal dapat mengandung instruksi yang mencoba memengaruhi perilaku model. Karena itu, aplikasi perlu membedakan dengan jelas antara system instruction, input pengguna, hasil retrieval, dan output tool.

Hak akses tool juga perlu dibatasi berdasarkan kebutuhan. Dengan demikian, agent hanya memperoleh kemampuan dan resource yang memang diperlukan untuk menyelesaikan tugas.

Context Engineering Membantu AI Menggunakan Informasi yang Tepat

Kemampuan model AI bukan satu-satunya faktor yang menentukan kualitas sebuah aplikasi AI. Informasi yang tersedia ketika model melakukan inferensi juga memiliki peran besar.

Context engineering membantu mengatur informasi tersebut melalui proses penulisan, pemilihan, kompresi, dan isolasi context.

Praktik ini semakin penting pada AI agent karena context terus berubah setelah model melakukan retrieval, menggunakan tool, atau menyelesaikan satu tahap pekerjaan.

Tujuannya bukan memenuhi context window dengan informasi sebanyak mungkin. Tujuannya adalah memastikan model memperoleh informasi yang tepat, pada saat yang tepat, untuk menyelesaikan tugas yang sedang dihadapi.