Cara Install Ollama di Linux Menggunakan Terminal

Kamu sudah menyiapkan server Linux untuk menjalankan aplikasi AI, tetapi belum mengetahui cara memasang Large Language Model (LLM) di dalamnya? Ollama bisa menjadi salah satu solusi untuk menjalankan model AI secara mandiri melalui terminal Linux.

Dengan Ollama, kamu dapat mengunduh model AI, menjalankan percakapan melalui terminal, hingga menghubungkannya dengan aplikasi lain menggunakan API. Proses tersebut bisa dilakukan tanpa memasang desktop environment atau antarmuka grafis pada server.

Panduan ini akan membahas cara install Ollama di Linux, mulai dari memeriksa spesifikasi server, memasang aplikasi, menjalankan model pertama, hingga mengatasi kendala instalasi. Contoh menggunakan Ubuntu dengan akses SSH, tetapi pengguna distribusi Linux lain tetap bisa mengikuti tahapan yang sesuai dengan sistem masing-masing.

Mengapa Ollama Cocok Dijalankan Melalui Terminal Linux?

Ollama merupakan perangkat lunak yang memungkinkan pengguna menjalankan berbagai model AI pada komputer atau server sendiri. Kamu dapat menggunakan model seperti Llama, Gemma, atau Mistral tanpa harus mengirimkan setiap permintaan ke layanan inferensi AI pihak ketiga.

Sebagai gambaran, Ollama mempunyai mekanisme yang mirip dengan pengelolaan image pada Docker. Kamu dapat mengunduh model menggunakan perintah pull, kemudian menjalankannya melalui perintah run.

Ollama akan menangani proses pemuatan model, penggunaan resource komputasi, serta penyediaan API untuk menghubungkan model dengan aplikasi lain.

Menjalankan Ollama melalui terminal Linux memberikan beberapa keuntungan. Kamu bisa mengelola model melalui SSH, membuat otomatisasi menggunakan script, serta menjalankan service tanpa memerlukan antarmuka grafis.

Pendekatan ini cocok untuk VPS yang umumnya tidak dilengkapi desktop environment. Dengan konfigurasi yang tepat, server dapat menjalankan model AI sebagai layanan yang tetap aktif meskipun sesi SSH sudah ditutup.

Namun, penggunaan model lokal tetap membutuhkan resource komputasi yang memadai. Kamu tidak perlu membayar biaya inferensi per token kepada penyedia API eksternal, tetapi biaya server, penyimpanan, listrik, dan pengelolaan infrastruktur tetap perlu diperhitungkan.

Persiapan Sebelum Install Ollama di Linux

Sebelum menjalankan perintah instalasi, kamu perlu memastikan server mempunyai kapasitas yang sesuai dengan model AI yang akan digunakan.

Hal ini penting karena Ollama hanya menyediakan runtime untuk menjalankan model. Kemampuan server dalam memproses permintaan tetap bergantung pada CPU, RAM, GPU, kapasitas penyimpanan, dan ukuran model.

1. Periksa Kebutuhan RAM dan Storage

Setiap model membutuhkan kapasitas memori dan penyimpanan yang berbeda. Model berukuran kecil biasanya lebih mudah dijalankan pada VPS dengan RAM terbatas, sedangkan model besar membutuhkan resource tambahan.

Tabel berikut memberikan ilustrasi kapasitas awal untuk beberapa kategori model yang menggunakan kuantisasi sekitar 4-bit.

Ukuran Model	Perkiraan RAM Awal	Storage untuk Bobot Model	Penggunaan
2B–3B	4–8 GB	1,5–3 GB	Eksperimen AI dan chatbot sederhana
7B–8B	8–16 GB	4–6 GB	Chatbot dan pengolahan teks
13B–14B	16–24 GB	8–12 GB	Pemrosesan teks yang lebih kompleks
32B	24–48 GB atau lebih	18–22 GB	Workload AI yang lebih berat

Angka tersebut merupakan perkiraan untuk perencanaan awal, bukan persyaratan minimum resmi seluruh model. Penggunaan RAM sebenarnya dapat berubah berdasarkan format kuantisasi, panjang konteks, jumlah permintaan bersamaan, serta kebutuhan sistem operasi.

Kamu juga perlu menyediakan ruang penyimpanan tambahan untuk sistem operasi, file sementara, dan model lain yang mungkin diunduh kemudian.

Untuk melihat kapasitas RAM pada server Linux, jalankan perintah berikut.

Terminal akan menampilkan total RAM, kapasitas yang digunakan, serta memori yang masih tersedia.

Selanjutnya, periksa ruang penyimpanan server menggunakan perintah berikut.

Perhatikan kapasitas kosong pada filesystem yang digunakan untuk menyimpan model Ollama. Jika kapasitas disk hampir penuh, proses pengunduhan model berisiko gagal sebelum selesai.

2. Periksa CPU dan Ketersediaan GPU

Ollama dapat menjalankan model menggunakan CPU tanpa harus mempunyai GPU khusus. Namun, kecepatan pemrosesan akan dipengaruhi oleh jumlah core, arsitektur prosesor, instruksi CPU yang didukung, serta ukuran model.

Kamu dapat memeriksa informasi CPU melalui perintah berikut.

Output akan menampilkan arsitektur prosesor, jumlah CPU yang tersedia, dan informasi instruksi yang didukung.

Jika server menggunakan GPU NVIDIA yang kompatibel dan driver sudah tersedia, kamu dapat memeriksanya melalui perintah berikut.

Server tanpa GPU tetap dapat digunakan untuk belajar menjalankan Ollama. Kamu bisa memulai dengan model kecil agar penggunaan RAM dan beban CPU lebih mudah dikendalikan.

3. Pastikan Server Dapat Diakses Melalui SSH

Instalasi Ollama pada VPS biasanya dilakukan menggunakan koneksi SSH. Kamu memerlukan alamat IP server, akun dengan hak akses yang sesuai, dan terminal untuk menjalankan perintah Linux.

Jika belum pernah melakukan remote server, kamu dapat mengikuti panduan cara akses VPS melalui SSH.

Untuk menghubungkan komputer dengan VPS, gunakan format perintah berikut.

Ganti username dengan nama pengguna Linux dan alamat-ip-server dengan alamat IP VPS yang digunakan.

Setelah berhasil masuk, kamu dapat memeriksa sistem server dan melanjutkan konfigurasi melalui terminal. Panduan konfigurasi dasar Cloud VPS juga dapat membantu jika server masih menggunakan konfigurasi awal.

Bagaimana Jika Spesifikasi VPS Belum Mencukupi?

Jika kamu berencana menjalankan model dengan parameter lebih besar atau mengintegrasikan Ollama ke beberapa aplikasi, kapasitas RAM dan CPU perlu dipertimbangkan sejak awal.

Cloud VPS DomaiNesia dapat menjadi salah satu pilihan infrastruktur untuk menjalankan workload berbasis CPU. Layanan ini menggunakan prosesor AMD EPYC dan memberikan kontrol pengelolaan server kepada pengguna.

Kamu tetap perlu menyesuaikan spesifikasi paket dengan ukuran model, kebutuhan memori, dan perkiraan jumlah permintaan. Penggunaan GPU untuk inferensi AI juga perlu dievaluasi secara terpisah karena VPS berbasis CPU tidak otomatis menyediakan akselerasi GPU.

Cara Install Ollama di Linux Melalui Terminal

Setelah persyaratan server terpenuhi, kamu dapat mulai memasang Ollama melalui terminal.

Tutorial berikut menggunakan Ubuntu dengan pengelola paket APT. Jika kamu menggunakan distribusi Linux lain, sesuaikan perintah persiapan paket dengan sistem yang digunakan.

1. Perbarui Informasi Paket Linux

Langkah pertama adalah memperbarui daftar paket yang tersedia pada repository Ubuntu.

Jalankan perintah berikut melalui terminal.

Perintah tersebut akan memperbarui informasi paket yang tersedia tanpa langsung melakukan upgrade seluruh aplikasi.

Selanjutnya, pastikan utilitas curl tersedia karena proses instalasi Ollama akan menggunakannya untuk mengunduh script resmi.

Jika server sebelumnya sudah memiliki curl, APT akan memberikan informasi bahwa paket tersebut telah terpasang.

2. Jalankan Script Instalasi Resmi Ollama

Ollama menyediakan script instalasi untuk Linux yang dapat dijalankan melalui terminal. Script ini membantu mengunduh dan memasang komponen yang diperlukan berdasarkan arsitektur sistem.

Jalankan perintah berikut.

Perintah tersebut mengambil script dari website resmi Ollama dan langsung menjalankannya melalui shell.

Karena script dijalankan dengan hak akses yang diperlukan untuk instalasi sistem, pastikan sumber URL sudah benar. Pengguna yang membutuhkan kontrol lebih ketat juga dapat memeriksa script terlebih dahulu sebelum menjalankannya.

Selama proses instalasi, terminal akan menampilkan informasi pengunduhan dan pemasangan komponen Ollama.

Pada sistem yang menggunakan systemd, script instalasi resmi umumnya akan membuat service Ollama agar aplikasi dapat berjalan sebagai layanan sistem.

3. Verifikasi Instalasi Ollama

Setelah proses instalasi selesai, kamu perlu memastikan binary Ollama sudah tersedia pada server.

Jalankan perintah berikut.

Terminal akan menampilkan versi Ollama yang terpasang apabila proses instalasi berhasil.

Jika terminal menampilkan pesan command not found, periksa apakah binary Ollama sudah tersedia pada PATH sistem menggunakan perintah berikut.

Jika binary belum ditemukan, periksa kembali output instalasi untuk mengetahui apakah proses pengunduhan atau pemasangan mengalami kegagalan.

Kamu juga dapat membuka sesi SSH baru apabila instalasi berhasil, tetapi shell yang sedang digunakan belum mengenali lokasi binary.

4. Gunakan Docker Jika Membutuhkan Deployment Berbasis Container

Selain melalui script instalasi, Ollama juga menyediakan image resmi yang dapat dijalankan menggunakan Docker.

Metode ini cocok jika kamu sudah menggunakan container untuk mengelola aplikasi pada VPS. Namun, penggunaan Docker tidak wajib untuk menjalankan Ollama melalui terminal Linux.

Jika ingin mencoba pendekatan tersebut, kamu dapat mempelajari cara install Docker di Ubuntu sebelum menjalankan container Ollama.

Untuk tutorial ini, kita tetap menggunakan instalasi langsung melalui script resmi agar pengelolaan service lebih sederhana.

Cara Mengecek Status Service Ollama

Instalasi binary belum cukup untuk memastikan Ollama sudah siap menerima permintaan. Kamu juga perlu memastikan service aplikasi berjalan dengan benar.

Pada Linux yang menggunakan systemd, jalankan perintah berikut.

Terminal akan menampilkan kondisi service Ollama beserta informasi proses yang sedang berjalan.

Jika status menunjukkan active (running), service Ollama sudah berjalan dan siap menerima permintaan dari terminal maupun API.

Apabila service belum aktif, jalankan perintah berikut untuk memulainya.

Selanjutnya, aktifkan service agar Ollama dapat dijalankan secara otomatis saat server melakukan boot.

Jika service tetap gagal berjalan, kamu dapat memeriksa log menggunakan perintah berikut.

Perintah tersebut menampilkan 50 entri log terbaru yang berkaitan dengan service Ollama.

Informasi log dapat membantu menemukan kendala seperti kesalahan konfigurasi, masalah akses file, atau proses yang gagal dijalankan.

Cara Menjalankan Model AI Pertama Menggunakan Ollama

Setelah service Ollama aktif, kamu dapat mengunduh model AI dan menjalankannya melalui terminal.

Pada percobaan pertama, sebaiknya gunakan model dengan ukuran relatif kecil. Pendekatan ini memudahkan kamu menguji instalasi sebelum mencoba model yang membutuhkan resource lebih besar.

Tutorial ini menggunakan gemma:2b, yaitu salah satu model ringan yang tersedia pada pustaka Ollama.

1. Download Model Gemma 2B

Ollama menggunakan perintah pull untuk mengunduh model dari pustaka model yang tersedia.

Jalankan perintah berikut.

Ollama akan mengunduh file model dan menyimpannya pada storage server.

Model gemma:2b membutuhkan ruang penyimpanan sekitar 1,7 GB untuk bobot model yang tersedia pada pustaka Ollama. Kamu tetap perlu menyediakan kapasitas tambahan untuk kebutuhan operasional lainnya.

Durasi pengunduhan bergantung pada kecepatan jaringan server dan kondisi koneksi menuju repository model.

Jika proses berhasil, terminal akan memberikan informasi bahwa model sudah tersedia untuk digunakan.

2. Jalankan Model Melalui Terminal

Setelah model berhasil diunduh, kamu dapat menjalankannya menggunakan perintah berikut.

Ollama akan memuat model ke memori sebelum menampilkan antarmuka interaktif melalui terminal.

Ketika terminal sudah menerima input, kamu dapat memberikan instruksi sederhana untuk menguji kemampuan model.

Sebagai contoh, gunakan prompt berikut.

Model akan memproses instruksi tersebut dan menghasilkan jawaban berdasarkan kemampuan model yang digunakan.

Kamu juga dapat mencoba instruksi lain, seperti membuat ringkasan teks, memberikan penjelasan teknis, atau membantu menyusun contoh kode sederhana.

Jika ingin mengakhiri sesi interaktif, ketik perintah berikut.

Perintah tersebut akan menutup sesi percakapan pada terminal tanpa menghapus model yang sudah diunduh.

3. Periksa Model yang Sudah Terpasang

Ketika mulai menggunakan beberapa model AI, kamu perlu mengetahui model mana saja yang tersimpan pada server.

Jalankan perintah berikut.

Terminal akan menampilkan daftar model yang tersedia, termasuk nama, ukuran file, dan informasi terkait model tersebut.

Kamu juga dapat melihat model yang sedang dimuat ke memori menggunakan perintah berikut.

Perintah ollama ps membantu memeriksa model yang sedang aktif dan apakah pemrosesan menggunakan CPU, GPU, atau kombinasi keduanya.

Informasi ini berguna ketika kamu ingin mengevaluasi konsumsi resource dan memutuskan apakah server membutuhkan peningkatan kapasitas.

4. Uji REST API Ollama

Selain menerima instruksi melalui terminal interaktif, Ollama menyediakan REST API yang dapat digunakan oleh aplikasi lain.

Secara default, Ollama menggunakan alamat lokal berikut.

Kamu dapat menguji endpoint API menggunakan perintah curl melalui terminal server.

Jika permintaan berhasil, API akan mengembalikan respons dalam format JSON yang berisi hasil pemrosesan model.

Pengujian ini menunjukkan bahwa Ollama sudah dapat menerima permintaan melalui API tanpa harus menggunakan mode percakapan interaktif.

Perlu diperhatikan bahwa localhost hanya mengarah ke server tempat Ollama berjalan. Aplikasi yang berada di server lain tidak dapat langsung mengakses alamat tersebut melalui internet.

Untuk integrasi antarmesin, gunakan koneksi yang aman, seperti VPN, SSH tunnel, atau reverse proxy dengan autentikasi dan HTTPS. Hindari membuka port API Ollama langsung ke internet tanpa kontrol akses yang sesuai.

Troubleshooting Saat Install Ollama di Linux

Meskipun proses instalasi relatif sederhana, beberapa kendala dapat muncul akibat konfigurasi Linux, keterbatasan resource, atau masalah jaringan.

Berikut beberapa masalah yang sering ditemui beserta langkah pemeriksaannya.

1. Service Ollama Tidak Berjalan

Apabila service Ollama menampilkan status failed, pemeriksaan sebaiknya dimulai dari log sistem.

Jalankan perintah berikut.

Periksa apakah terdapat pesan mengenai permission, konfigurasi service, atau kegagalan membuka port.

Setelah masalah ditemukan dan konfigurasi diperbaiki, kamu dapat memulai ulang service.

Kemudian, periksa kembali statusnya melalui systemctl status ollama.

2. Port 11434 Sudah Digunakan

Secara default, Ollama menggunakan port 11434 untuk menyediakan API lokal.

Jika port tersebut sudah digunakan aplikasi lain, proses Ollama dapat gagal membuka listener.

Untuk memeriksa proses yang menggunakan port tersebut, jalankan perintah berikut.

Jika terdapat proses lain pada port yang sama, kamu perlu mengidentifikasi aplikasinya sebelum melakukan perubahan.

Kamu dapat menghentikan proses yang tidak diperlukan atau menyesuaikan konfigurasi port melalui environment variable OLLAMA_HOST.

Pastikan setiap perubahan tidak menyebabkan API Ollama terbuka ke jaringan publik tanpa pengamanan.

3. Download Model Gagal atau Terhenti

Proses pengunduhan model bisa gagal ketika koneksi jaringan terputus atau kapasitas storage tidak mencukupi.

Langkah pertama adalah memeriksa ruang penyimpanan yang masih tersedia.

Jika filesystem hampir penuh, kamu perlu menyediakan ruang penyimpanan tambahan sebelum mengulangi proses download.

Kamu juga dapat memeriksa konektivitas server ke website Ollama menggunakan perintah berikut.

Setelah koneksi dan storage dipastikan memadai, coba jalankan kembali perintah pengunduhan model.

4. Muncul Pesan Permission Denied

Pesan permission denied dapat muncul ketika pengguna Linux tidak mempunyai hak akses yang diperlukan untuk membaca file, menjalankan binary, atau mengubah konfigurasi tertentu.

Penyebabnya perlu diperiksa berdasarkan perintah yang gagal dijalankan.

Untuk memeriksa identitas pengguna Linux, jalankan perintah berikut.

Kamu juga dapat memeriksa informasi permission dan lokasi binary Ollama melalui perintah berikut.

Jika masalah berkaitan dengan pengelolaan service, pastikan akun yang digunakan mempunyai hak akses sudo.

Hindari mengubah seluruh permission direktori atau menambahkan pengguna ke grup tertentu tanpa mengetahui penyebab masalahnya. Perubahan hak akses yang tidak tepat dapat menimbulkan risiko keamanan pada server.

5. GPU Tidak Terdeteksi

Jika server menggunakan GPU NVIDIA, kamu dapat memeriksa ketersediaan perangkat melalui perintah berikut.

Output yang menampilkan informasi GPU menunjukkan bahwa perangkat dan driver NVIDIA dapat dikenali oleh sistem.

Namun, hasil tersebut belum memastikan bahwa model Ollama sudah menggunakan GPU untuk inferensi.

Untuk memeriksa perangkat komputasi yang digunakan model, jalankan perintah berikut ketika model sedang aktif.

Perhatikan kolom PROCESSOR untuk melihat apakah model dimuat melalui CPU, GPU, atau keduanya.

Jika model tetap menggunakan CPU, periksa kompatibilitas GPU, driver, dan kebutuhan memori perangkat berdasarkan dokumentasi resmi Ollama.

6. Respons Model Terasa Lambat

Respons yang lambat tidak selalu menandakan bahwa instalasi Ollama bermasalah.

Kecepatan inferensi bergantung pada ukuran model, jenis prosesor, kapasitas memori, panjang prompt, serta jumlah permintaan yang diproses secara bersamaan.

Jika kamu menjalankan model besar menggunakan CPU-only, waktu pemrosesan kemungkinan lebih panjang dibandingkan ketika menggunakan GPU yang kompatibel.

Untuk memeriksa penggunaan resource, jalankan perintah berikut.

Kamu juga dapat menggunakan htop jika utilitas tersebut tersedia pada server.

Apabila RAM sering mendekati batas kapasitas atau penggunaan CPU terus berada pada tingkat tinggi, pertimbangkan model yang lebih kecil, pengaturan concurrency, atau peningkatan resource.

Apa yang Sebaiknya Dilakukan Setelah Ollama Berhasil Diinstal?

Setelah model AI pertama berhasil berjalan, kamu dapat mengembangkan instalasi Ollama menjadi bagian dari sistem yang lebih kompleks.

Beberapa langkah berikut membantu meningkatkan kegunaan Ollama sekaligus menjaga stabilitas server.

Integrasikan Ollama dengan Aplikasi atau Workflow Otomatisasi

REST API memungkinkan Ollama menerima instruksi dari aplikasi lain tanpa mengharuskan pengguna membuka terminal secara langsung.

Sebagai contoh, kamu dapat membuat aplikasi sederhana yang mengirimkan pertanyaan dari website, kemudian menampilkan respons model melalui antarmuka aplikasi.

Kamu juga dapat menghubungkan Ollama dengan platform otomatisasi seperti n8n untuk membangun workflow pemrosesan teks. Artikel mengenal n8n untuk otomatisasi dapat membantu kamu memahami konsep integrasinya.

Untuk penggunaan yang melibatkan data sensitif, pastikan aplikasi menerapkan autentikasi, pembatasan akses, dan pengelolaan data yang sesuai.

Tambahkan Antarmuka Visual Jika Dibutuhkan

Terminal sudah cukup untuk menguji model dan melakukan eksperimen sederhana. Namun, antarmuka visual dapat memudahkan pengguna yang ingin berinteraksi dengan AI melalui browser.

Kamu dapat mempertimbangkan Open WebUI sebagai antarmuka tambahan yang terhubung dengan Ollama.

Penggunaan antarmuka visual tidak mengharuskan kamu mengganti instalasi Ollama yang sudah berjalan. Kamu hanya perlu memastikan koneksi antarlayanan, resource server, dan pengaturan keamanan sudah sesuai.

Batasi Penggunaan Resource Model

Jika beberapa aplikasi menggunakan Ollama secara bersamaan, konsumsi RAM dapat meningkat karena model perlu dimuat dan permintaan diproses secara paralel.

Ollama menyediakan environment variable untuk membantu mengendalikan jumlah model yang dimuat.

Salah satu pengaturan yang dapat digunakan adalah OLLAMA_MAX_LOADED_MODELS.

Sebagai contoh, kamu dapat membuat override konfigurasi systemd menggunakan perintah berikut.

Kemudian, masukkan konfigurasi berikut.

Konfigurasi tersebut membatasi jumlah model yang dimuat secara bersamaan menjadi satu.

Setelah menyimpan konfigurasi, muat ulang systemd dan restart Ollama.

Pengaturan ini dapat membantu mengendalikan penggunaan memori ketika beberapa model digunakan secara bergantian. Namun, kamu tetap perlu memperhatikan concurrency, panjang konteks, dan kebutuhan aplikasi.

Perbarui Ollama dan Amankan Akses Server

Ollama perlu diperbarui secara berkala agar mendapatkan perbaikan kompatibilitas, pembaruan fitur, dan perbaikan keamanan yang tersedia.

Untuk memperbarui instalasi berbasis script resmi pada Linux, jalankan kembali perintah berikut.

Sebelum melakukan pembaruan pada server produksi, sebaiknya periksa catatan rilis dan siapkan backup konfigurasi yang diperlukan.

Selain memperbarui aplikasi, kamu perlu memperhatikan keamanan koneksi SSH. Penggunaan autentikasi berbasis key dapat membantu meningkatkan pengamanan akses server.

Jika belum menggunakan metode tersebut, kamu dapat mengikuti panduan cara membuat SSH key di VPS.

Kesimpulan

Cara install Ollama di Linux dapat dilakukan melalui terminal tanpa memerlukan antarmuka grafis. Proses instalasi dimulai dari pemeriksaan spesifikasi server, pemasangan Ollama menggunakan script resmi, hingga pengujian service melalui systemd.

Setelah instalasi berhasil, kamu dapat mengunduh model AI seperti Gemma 2B, menjalankannya melalui terminal, dan menguji REST API untuk kebutuhan integrasi aplikasi.

Tahapan tersebut memberikan fondasi awal untuk membangun aplikasi AI yang berjalan pada infrastruktur sendiri. Namun, kestabilan dan kecepatan inferensi tetap bergantung pada spesifikasi server, konfigurasi sistem, serta ukuran model yang digunakan.

Dengan memilih model yang sesuai, memantau penggunaan resource, dan menerapkan pengamanan akses, kamu dapat mengembangkan Ollama dari lingkungan eksperimen menjadi komponen layanan AI yang lebih siap digunakan.