Cara Install Ollama di Ubuntu untuk Menjalankan AI Lokal

Bayangkan kamu sedang mengembangkan chatbot internal atau mencoba model AI untuk membantu pekerjaan sehari-hari. Kamu ingin menjalankan model tersebut langsung dari laptop atau server Ubuntu tanpa harus mengirim setiap permintaan ke layanan AI eksternal.

Ollama dapat membantu kamu menyiapkan lingkungan tersebut dengan lebih praktis. Melalui beberapa perintah terminal, kamu bisa mengunduh model bahasa, menjalankan percakapan, dan menghubungkan model lokal dengan aplikasi melalui API.

Dalam panduan ini, kamu akan mempelajari cara install Ollama di Ubuntu, mulai dari menyiapkan server, memasang aplikasi, mengunduh model, hingga menguji API. Pembahasan juga mencakup pengaturan akses jarak jauh dan troubleshooting agar Ollama dapat digunakan dengan lebih aman.

Persiapan Sebelum Install Ollama di Ubuntu

Sebelum memulai instalasi, kamu perlu memastikan Ubuntu mempunyai resource yang memadai. Aplikasi Ollama relatif ringan, tetapi model AI yang dijalankan dapat membutuhkan RAM dan ruang penyimpanan cukup besar.

Sebagai contoh, model dengan satu miliar parameter biasanya lebih ringan daripada model dengan delapan miliar parameter. Namun, kebutuhan sebenarnya tetap bergantung pada format model, tingkat kuantisasi, panjang konteks, dan jumlah permintaan yang diproses.

Periksa Sistem Operasi dan Spesifikasi Server

Panduan ini menggunakan Ubuntu 22.04 LTS atau 24.04 LTS sebagai contoh lingkungan instalasi. Kamu juga dapat menggunakan versi Ubuntu lain yang kompatibel dengan installer Ollama.

Jika kamu belum menyiapkan sistem operasi, ikuti panduan cara install Ubuntu di Cloud VPS terlebih dahulu. Setelah Ubuntu berjalan, kamu dapat membuka terminal untuk memeriksa konfigurasi sistem.

Jalankan perintah berikut untuk mengetahui versi Ubuntu yang digunakan:

Perintah tersebut menampilkan identitas distribusi Linux beserta versinya. Kamu dapat memastikan bahwa sistem menggunakan Ubuntu sebelum melanjutkan instalasi Ollama.

Selanjutnya, periksa kapasitas RAM yang tersedia menggunakan perintah berikut:

Perhatikan bagian Mem, terutama kolom available yang memperkirakan memori yang masih dapat digunakan. Informasi ini membantu kamu memperkirakan ukuran model yang sesuai dengan kapasitas server.

Kamu juga perlu memeriksa ruang penyimpanan menggunakan perintah:

Ollama menyimpan file model di penyimpanan lokal setelah proses pengunduhan selesai. Oleh karena itu, kamu perlu menyediakan kapasitas disk untuk model, sistem operasi, dan file tambahan yang digunakan selama operasional.

Berapa RAM yang Dibutuhkan untuk Ollama?

Kebutuhan RAM Ollama berbeda untuk setiap model dan skenario penggunaan. Tabel berikut memberikan estimasi awal untuk menjalankan model terkuantisasi sekitar 4-bit dengan beban ringan melalui CPU.

Ukuran Model	RAM Awal yang Disarankan	Contoh Penggunaan
1B–3B	4–8 GB	Chat sederhana, eksperimen, dan pengujian API.
7B–8B	12–16 GB	Chatbot internal, peringkasan dokumen, dan pengujian aplikasi AI.
12B–14B	16–32 GB	Eksperimen coding, analisis teks, dan instruksi yang lebih kompleks.
20B ke atas	32 GB atau lebih, bergantung pada arsitektur model.	Eksperimen model berukuran besar dengan kebutuhan komputasi lebih tinggi.

Catatan: Angka tersebut merupakan panduan kapasitas, bukan persyaratan minimum resmi untuk semua model Ollama. Model dengan arsitektur Mixture of Experts, tingkat kuantisasi berbeda, atau context window besar dapat mempunyai kebutuhan memori yang berbeda pula.

GPU juga bukan persyaratan wajib untuk menjalankan Ollama. Kamu tetap dapat menggunakan CPU untuk menjalankan model yang kompatibel, meskipun proses menghasilkan jawaban umumnya lebih lambat dibandingkan dengan perangkat yang mempunyai akselerasi GPU sesuai.

Untuk menjalankan model kecil pada VPS, kamu dapat mempertimbangkan Cloud VPS DomaiNesia dengan kapasitas RAM sesuai kebutuhan. Paket 8 GB dapat menjadi titik awal eksperimen model ringan, sedangkan kapasitas 12 GB atau 16 GB memberikan ruang lebih untuk mencoba model yang lebih besar.

Pemilihan paket tetap perlu mempertimbangkan pemakaian RAM aktual dan kinerja CPU. Jika aplikasi akan melayani banyak pengguna secara bersamaan, lakukan pengujian beban sebelum menentukan kapasitas produksi.

Cara Install Ollama di Ubuntu Lewat Terminal

Setelah memeriksa spesifikasi server, kamu dapat melanjutkan proses instalasi melalui command line Ubuntu. Metode ini menggunakan installer resmi yang disediakan oleh pengembang Ollama.

Apabila kamu baru mulai menggunakan terminal Linux, pelajari terlebih dahulu beberapa perintah Linux yang sering digunakan. Pemahaman dasar tersebut akan membantu kamu menjalankan instruksi dan membaca pesan kesalahan selama instalasi.

1. Perbarui Informasi Paket Ubuntu

Langkah pertama adalah memperbarui daftar paket yang tersedia pada repository Ubuntu. Proses ini membantu sistem menemukan versi paket dan dependensi yang tersedia sebelum melakukan instalasi.

Buka terminal Ubuntu atau sambungkan perangkat ke server melalui SSH. Setelah berhasil masuk, jalankan perintah berikut:

Perintah tersebut memperbarui informasi paket tanpa langsung memasang pembaruan seluruh aplikasi. Jika server memang memerlukan pembaruan sistem, kamu dapat menjadwalkan proses upgrade sesuai kebutuhan operasional.

Selanjutnya, pasang utilitas yang diperlukan untuk mengunduh dan mengekstrak berkas:

Paket curl digunakan untuk mengambil berkas melalui jaringan, sedangkan zstd menyediakan dukungan kompresi yang dibutuhkan dalam proses ekstraksi tertentu. Keduanya membantu mempersiapkan Ubuntu untuk proses instalasi Ollama.

2. Jalankan Script Instalasi Resmi Ollama

Ollama menyediakan installer Linux yang dapat dijalankan langsung dari terminal. Installer tersebut membantu mengunduh komponen aplikasi dan menyiapkan layanan sesuai lingkungan sistem.

Gunakan perintah resmi berikut untuk memulai instalasi:

Perintah ini mengambil script instalasi melalui koneksi HTTPS, lalu menjalankannya menggunakan shell. Karena script memperoleh izin untuk melakukan perubahan sistem, pastikan kamu menggunakan alamat resmi dan memahami kebijakan keamanan server sebelum menjalankannya.

Selama instalasi berlangsung, terminal akan menampilkan informasi mengenai komponen yang dipasang. Installer juga dapat membuat akun sistem dan layanan Ollama agar aplikasi dapat dijalankan melalui systemd.

3. Periksa Apakah Ollama Berhasil Terpasang

Setelah proses instalasi selesai, kamu perlu memastikan bahwa perintah Ollama sudah dikenali oleh Ubuntu. Pemeriksaan ini membantu membedakan masalah instalasi aplikasi dengan masalah layanan yang belum berjalan.

Jalankan perintah berikut untuk menampilkan versi aplikasi:

Apabila terminal menampilkan nomor versi Ollama, aplikasi sudah dapat dipanggil melalui command line. Selanjutnya, kamu perlu memeriksa apakah layanan Ollama berjalan dengan benar.

Gunakan perintah systemd berikut untuk mengaktifkan layanan sekaligus mengatur agar layanan berjalan setelah server dinyalakan kembali:

Setelah itu, periksa status layanan menggunakan perintah:

Jika layanan berhasil berjalan, kamu akan menemukan status active (running) pada output terminal. Status tersebut menunjukkan bahwa proses server Ollama aktif dan siap menerima permintaan.

Apabila status menunjukkan failed, kamu perlu membaca log layanan untuk menemukan penyebab masalah sebelum melanjutkan pengunduhan model.

4. Download Model AI Pertama Menggunakan Ollama

Instalasi Ollama belum otomatis menyediakan model AI yang dapat langsung digunakan. Kamu perlu mengunduh model dari library Ollama sebelum mengirimkan instruksi atau menjalankan percakapan.

Untuk pengujian pertama, kamu dapat menggunakan Llama 3.2 dengan ukuran satu miliar parameter. Varian ini relatif ringan sehingga cocok untuk mempelajari alur penggunaan Ollama pada perangkat dengan kapasitas terbatas.

Jalankan perintah berikut untuk mengunduh model:

Ollama akan mengunduh komponen model dan menyimpannya pada sistem. Proses tersebut memerlukan koneksi internet, tetapi model yang telah tersimpan dapat digunakan kembali tanpa mengunduh file yang sama pada setiap sesi.

Setelah pengunduhan selesai, kamu dapat melihat daftar model yang tersedia menggunakan perintah:

Output terminal akan menampilkan nama model, identitas model, ukuran file, dan informasi terkait. Jika llama3.2:1b muncul pada daftar, model sudah tersedia untuk dijalankan.

Kamu juga dapat mencoba varian tiga miliar parameter dengan perintah ollama pull llama3.2:3b. Namun, pastikan RAM yang tersedia masih cukup sebelum menjalankan model berukuran lebih besar.

5. Jalankan Model AI Melalui Terminal

Setelah mengunduh model, kamu dapat membuka sesi percakapan langsung melalui terminal. Cara ini merupakan pengujian sederhana untuk memastikan bahwa Ollama berhasil memuat model dan menghasilkan respons.

Jalankan perintah berikut:

Ollama akan memuat model ke memori dan menampilkan antarmuka percakapan berbasis terminal. Setelah prompt tersedia, masukkan pertanyaan sederhana seperti contoh berikut:

Model akan memproses instruksi dan menampilkan jawaban berdasarkan kemampuan yang dimilikinya. Lamanya respons bergantung pada performa CPU, jumlah memori, serta konfigurasi model yang digunakan.

Apabila kamu sudah mendapatkan jawaban, proses instalasi dasar dapat dianggap berhasil. Namun, kamu masih perlu menguji API jika Ollama nantinya akan digunakan oleh aplikasi lain.

6. Uji Ollama API Melalui Localhost

Selain menyediakan terminal interaktif, Ollama menjalankan HTTP API yang dapat digunakan oleh aplikasi eksternal. API tersebut memungkinkan program mengirim prompt dan menerima hasil generasi tanpa membuka percakapan terminal secara manual.

Pada konfigurasi default, API Ollama tersedia melalui alamat 127.0.0.1 dengan port 11434. Kamu dapat menggunakan endpoint /api/generate untuk melakukan pengujian.

Jalankan perintah berikut pada terminal Ubuntu:

Perintah ini mengirim permintaan HTTP berisi nama model dan instruksi dalam format JSON. Parameter stream: false digunakan agar Ollama mengembalikan hasil generasi dalam satu respons JSON setelah pemrosesan selesai.

Jika API berjalan normal, respons akan berisi field seperti model, response, dan done. Bagian response memuat jawaban model, sedangkan nilai done: true menandakan proses generasi sudah selesai.

Pengujian ini memastikan bahwa Ollama dapat menerima permintaan melalui API lokal. Dengan mekanisme tersebut, kamu dapat mulai menghubungkan model dengan backend aplikasi, chatbot, atau workflow otomatisasi.

Cara Mengakses Ollama di Ubuntu Server dari Perangkat Lain

Menjalankan Ollama pada laptop pribadi berbeda dengan menjalankannya pada VPS yang diakses melalui jaringan. Ketika Ollama terpasang pada server Ubuntu, kamu mungkin ingin menggunakan model dari laptop tanpa harus menjalankan seluruh aplikasi di perangkat tersebut.

Namun, API Ollama tidak menyediakan autentikasi login bawaan untuk penggunaan lokal. Karena itu, membuka port API langsung ke internet tanpa pengamanan tambahan dapat memungkinkan pihak yang tidak berwenang mengirim permintaan ke server.

Gunakan SSH Tunnel untuk Akses yang Lebih Aman

Salah satu cara praktis untuk mengakses Ollama dari perangkat lain adalah menggunakan SSH tunnel. Metode ini memungkinkan laptop meneruskan permintaan ke API Ollama melalui koneksi SSH yang terenkripsi tanpa membuka port API ke internet.

Sebelum melanjutkan, pastikan kamu sudah mempunyai akses SSH ke Ubuntu Server. Jika belum, ikuti panduan cara mengakses VPS melalui SSH agar perangkat lokal dapat terhubung dengan server.

Setelah SSH siap, jalankan perintah berikut dari terminal laptop atau komputer lokal:

Ganti user dengan nama pengguna SSH dan IP_SERVER dengan alamat IP server Ubuntu. Perintah tersebut meneruskan koneksi dari port 11435 pada laptop menuju port 11434 milik Ollama di server.

Biarkan sesi SSH tersebut tetap aktif, lalu buka terminal lain pada laptop. Kamu dapat menguji koneksi dengan menjalankan perintah berikut:

Jika koneksi berhasil, API akan mengembalikan daftar model yang tersimpan pada server Ubuntu. Aplikasi lokal juga dapat menggunakan alamat tersebut selama SSH tunnel masih aktif.

Bagaimana Jika API Harus Diakses Melalui Jaringan?

Dalam beberapa skenario, aplikasi memang perlu mengakses Ollama melalui alamat jaringan server. Kondisi ini dapat terjadi ketika backend aplikasi berjalan pada mesin lain atau ketika beberapa sistem internal menggunakan model yang sama.

Ollama menyediakan variabel lingkungan OLLAMA_HOST untuk mengubah alamat yang digunakan oleh layanan. Pada server yang memakai systemd, kamu dapat membuka konfigurasi override dengan perintah:

Jika lingkungan jaringan sudah dilindungi dan akses langsung memang diperlukan, konfigurasi berikut memungkinkan Ollama menerima koneksi dari seluruh antarmuka jaringan:

Peringatan: Konfigurasi 0.0.0.0 memperluas jangkauan koneksi API dan tidak boleh digunakan untuk mengekspos layanan tanpa autentikasi ke internet publik. Untuk penggunaan produksi, tempatkan layanan di jaringan privat atau gunakan reverse proxy dengan autentikasi, HTTPS, dan pembatasan alamat IP.

Setelah menyimpan override, jalankan perintah berikut untuk menerapkan konfigurasi:

Jika kamu memang perlu memberikan akses jaringan langsung dari satu alamat IP tepercaya, aturan firewall dapat dibatasi menggunakan contoh berikut:

Ganti alamat IP contoh dengan alamat sumber yang benar-benar diizinkan. Pastikan juga tidak ada aturan firewall lain yang membuka port 11434 untuk seluruh internet, termasuk pada firewall penyedia VPS.

Untuk memeriksa apakah layanan sudah mendengarkan koneksi pada port yang ditentukan, jalankan perintah berikut:

Kamu juga dapat mengikuti panduan cara mengecek port di VPS Linux untuk memahami status port yang terbuka maupun tertutup. Pemeriksaan tersebut membantu memastikan konfigurasi jaringan sesuai dengan kebutuhan aplikasi.

Troubleshooting Masalah Install Ollama di Ubuntu

Meskipun instalasi Ollama relatif sederhana, beberapa masalah dapat muncul karena konfigurasi sistem, resource, atau koneksi jaringan. Kamu dapat menggunakan langkah berikut untuk mengidentifikasi penyebab masalah sebelum melakukan instalasi ulang.

1. Perintah Ollama Tidak Dikenali

Pesan ollama: command not found menunjukkan bahwa terminal belum menemukan executable Ollama pada lokasi yang tercantum dalam variabel PATH. Kondisi ini dapat terjadi ketika installer belum berhasil menyelesaikan proses pemasangan.

Periksa lokasi perintah Ollama menggunakan command berikut:

Jika terminal tidak menampilkan lokasi executable, periksa kembali pesan instalasi dan jalankan ulang installer resmi apabila diperlukan. Jika executable sebenarnya sudah tersedia, kamu dapat membuka sesi terminal baru agar lingkungan shell diperbarui.

2. Service Ollama Gagal Berjalan

Masalah layanan systemd dapat menyebabkan API Ollama tidak dapat diakses meskipun aplikasinya sudah terpasang. Kondisi ini dapat dipicu oleh kesalahan konfigurasi, izin akses, atau penggunaan port oleh proses lain.

Periksa pesan terbaru dari layanan Ollama menggunakan perintah berikut:

Log tersebut menampilkan aktivitas dan pesan kesalahan dari service Ollama. Kamu dapat menggunakan informasi yang muncul untuk menentukan apakah masalah berasal dari konfigurasi, file model, atau proses startup.

3. Download Model Gagal atau Terhenti

Pengunduhan model dapat gagal ketika koneksi jaringan terputus atau kapasitas disk tidak mencukupi. Kamu perlu memastikan kedua kondisi tersebut sebelum mengulangi proses download.

Periksa ruang penyimpanan menggunakan perintah berikut:

Jika ruang penyimpanan masih mencukupi, coba ulangi pengunduhan model:

Ollama dapat memanfaatkan data unduhan yang sudah tersimpan sehingga tidak selalu perlu memulai pengunduhan dari awal. Namun, keberhasilan melanjutkan unduhan tetap bergantung pada kondisi file dan koneksi yang tersedia.

4. API Ollama Tidak Bisa Diakses

Ketika aplikasi gagal terhubung ke API, kamu perlu memastikan Ollama sedang berjalan dan menggunakan alamat yang benar. Pada instalasi default, endpoint API lokal seharusnya tersedia melalui port 11434.

Jalankan pengujian sederhana berikut pada server Ubuntu:

Jika permintaan menghasilkan daftar model, API lokal telah merespons dengan benar. Apabila akses dari perangkat lain tetap gagal, periksa konfigurasi SSH tunnel, reverse proxy, dan aturan firewall yang digunakan.

5. Respons Model Sangat Lambat atau Kehabisan Memori

Model AI membutuhkan memori untuk memuat bobot dan memproses konteks percakapan. Ketika kapasitas RAM terlalu kecil atau CPU mempunyai kemampuan terbatas, proses menghasilkan jawaban dapat berlangsung lebih lama.

Periksa penggunaan RAM server dengan perintah berikut:

Kamu juga dapat memeriksa model yang sedang dimuat menggunakan perintah:

Perintah tersebut membantu menunjukkan model yang sedang berada di memori dan perangkat pemrosesan yang digunakan. Jika resource server terbatas, pertimbangkan penggunaan model lebih kecil sebelum menaikkan kapasitas VPS.

Mengelola Ollama Setelah Instalasi Berhasil

Setelah Ollama berjalan, kamu perlu menjaga penggunaan resource agar layanan tetap responsif. Langkah pengelolaan ini penting ketika server mulai digunakan untuk beberapa eksperimen atau aplikasi AI secara bersamaan.

Pantau Penggunaan RAM dan Model Aktif

Ollama dapat mempertahankan model di dalam memori untuk sementara waktu setelah permintaan selesai. Mekanisme tersebut membantu mempercepat permintaan berikutnya karena model tidak selalu perlu dimuat ulang.

Jika kamu ingin menghentikan model tertentu dan melepaskannya dari memori, gunakan perintah berikut:

Perintah tersebut menghentikan model yang sedang dimuat tanpa menghapus file model dari penyimpanan. Dengan begitu, kamu masih dapat menjalankan model yang sama ketika diperlukan kembali.

Kelola Model yang Sudah Tidak Digunakan

Setiap model yang diunduh akan menggunakan ruang penyimpanan sesuai ukuran filenya. Ketika kamu sering mencoba model berbeda, kapasitas disk dapat berkurang meskipun model tersebut sedang tidak dijalankan.

Periksa daftar model yang tersedia menggunakan perintah berikut:

Jika model tertentu sudah tidak dibutuhkan, kamu dapat menghapusnya menggunakan perintah:

Penghapusan ini melepaskan penyimpanan yang digunakan model tersebut sesuai pengelolaan berkas Ollama. Pastikan tidak ada aplikasi penting yang masih membutuhkan model sebelum menjalankan perintah penghapusan.

Perbarui Ollama Secara Berkala

Pengembang Ollama merilis pembaruan untuk meningkatkan kompatibilitas, memperbaiki masalah, dan menambahkan dukungan kemampuan baru. Kamu perlu memeriksa pembaruan secara berkala, terutama ketika aplikasi menggunakan Ollama untuk workload produksi.

Pada instalasi Linux menggunakan script resmi, pembaruan dapat dilakukan dengan menjalankan kembali installer berikut:

Sebelum melakukan pembaruan pada server produksi, periksa catatan rilis dan siapkan prosedur pemulihan apabila versi baru menimbulkan masalah kompatibilitas. Langkah ini membantu menjaga ketersediaan aplikasi yang bergantung pada Ollama.

Kembangkan Ollama dengan Antarmuka Web

Penggunaan terminal sangat membantu pada tahap awal, tetapi tidak semua pengguna nyaman berinteraksi melalui command line. Ketika eksperimen AI mulai melibatkan anggota tim lain, antarmuka web dapat mempermudah pengujian model dan pengelolaan percakapan.

Kamu dapat mengikuti tutorial Ollama GUI dan Open WebUI untuk mempelajari penggunaan Ollama melalui antarmuka berbasis browser. Sebelum menyediakan akses untuk pengguna lain, pastikan aplikasi web mempunyai autentikasi dan konfigurasi jaringan yang sesuai.

Ollama di Ubuntu Siap Digunakan untuk Menjalankan AI Lokal

Cara install Ollama di Ubuntu dapat diselesaikan melalui beberapa tahap utama, mulai dari mempersiapkan sistem, menjalankan installer, mengaktifkan layanan, hingga mengunduh model AI. Setelah model berhasil dijalankan, kamu dapat memanfaatkan terminal maupun API lokal untuk mulai mengembangkan aplikasi berbasis AI.

Keberhasilan instalasi merupakan awal dari proses pengelolaan Ollama. Kamu tetap perlu mempertimbangkan kapasitas RAM, performa CPU, keamanan akses API, dan jumlah permintaan yang akan diproses oleh server.

Dengan memilih model sesuai spesifikasi perangkat dan menerapkan konfigurasi akses yang tepat, kamu dapat menggunakan Ollama sebagai lingkungan eksperimen AI yang lebih terkontrol. Selanjutnya, kamu dapat mengembangkan penggunaan model lokal untuk chatbot internal, otomatisasi pekerjaan, maupun integrasi dengan aplikasi yang sedang dibangun.