Instal ELK Stack: Elasticsearch, Logstash, dan Kibana di VPS
Oleh
Ita Sugiharti
Halo, DomaiNesians! Jika kalian sedang mencari solusi untuk melakukan pengelolaan dan visualisasi data secara efisien, kombinasi Elasticsearch, Logstash, dan Kibana atau yang sering disebut ELK Stack adalah pilihan yang tepat.Â
Daftar Isi
ELK Stack merupakan rangkaian perangkat lunak open-source yang berfungsi untuk mengumpulkan, menganalisis, dan memvisualisasikan data secara real-time. Jika kamu penasaran bagaimana cara instalasinya, yuk kita belajar bersama cara instal Elasticsearch, Logstash, dan Kibana di VPS!
Apa Itu ELK Stack?
ELK Stack atau yang juga sering disebut Elastic Stack adalah kumpulan 3 perangkat lunak open-source yang saling terintegrasi. Elastic Stack sendiri biasanya digunakan dalam pengelolaan data seperti mengumpulkan, menyimpan, menganalisis, dan memvisualisasikan data.
(Sumber: Edureka)
Lalu, apa saja komponen dalam ELK Stack ini?
- Elasticsearch (E) adalah mesin pencari dan analisis yang mampu menangani data dalam jumlah besar secara cepat.
- Logstash (L) adalah alat pengumpul data dan pemrosesan log. Data yang dikumpulkan dapat diubah dan dikirim ke Elasticsearch.
- Kibana (K) adalah platform visualisasi data yang menampilkan data dari Elasticsearch dalam bentuk grafik, dashboard, dan peta.
Persiapan Sebelum Instal ELK Stack di VPS
Sebelum mulai menginstal ELK Stack di VPS, pastikan server VPS kamu sudah sesuai dengan spesifikasi minimum berikut ini agar proses instalasi bisa berjalan dengan lancar:
- Sistem operasi: Ubuntu versi 20.04 atau yang lebih baru
- RAM: minimal 4GB
- Akses root atau user dengan menggunakan hak sudo
- Akses SSH ke VPS, caranya:
1. Buka terminal atau shell di perangkat kalian dan masukkan perintah berikut:
|
1 |
ssh username@alamat_ip_server |
Ganti username dan alamat_ip_server dengan akun VPS kamu. Contoh: ssh root@172.16.123.190
2. Masukkan password root. Saat mengisi password root, biasanya terminal tidak akan menampilkan karakter apapun demi alasan keamanan. Jika sudah tekan Enter untuk lanjut ke tahap selanjutnya.
3. Update sistem
Saat melakukan instalasi apapun di VPS, selalu pastikan jika sistem dalam VPS diperbarui. Caranya, jalankan perintah berikut ini
|
1 |
sudo apt update && sudo apt upgrade -y |
Instalasi ELK Stack di VPS
Sesuai namanya, dalam tutorial instalasi ELK Stack, kita akan memulai dengan menginstal Elasticsearch, kemudian dilanjutkan dengan instalasi Logstash, dan terakhir instalasi Kibana.
1. Instal dan Konfigurasi Elasticsearch
Elasticsearch merupakan engine utama untuk mencari dan menganalisis data real-time. Supaya server kamu bisa menyimpan, mencari, dan mengindeks data secara cepat. Di sini kamu juga setting supaya Elasticsearch hanya bisa diakses lokal (localhost), bukan dari luar, buat keamanan.
a. Instal Java
Elasticsearch membutuhkan Java untuk berjalan, jadi kita perlu menginstalnya terlebih dahulu:
|
1 |
sudo apt install openjdk-17-jdk -y |
b. Cek instalasi Java
Pastikan Java sudah terpasang dengan benar:
|
1 |
java -version |
c. Import GPG Key
Elasticsearch membutuhkan GPG key untuk verifikasi. Tambahkan dengan perintah berikut:
|
1 |
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg |
d. Tambah repository Elasticsearch
Tambahkan repository Elasticsearch ke sistem:
|
1 |
echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list |
e. Instal Elasticsearch
Setelah repository ditambahkan, instal Elasticsearch dengan perintah berikut:
|
1 2 |
sudo apt update sudo apt install elasticsearch |
f. Konfigurasi Elasticsearch
Buka file konfigurasi:
|
1 |
sudo nano /etc/elasticsearch/elasticsearch.yml |
Kemudian, ubah baris berikut untuk mengizinkan akses dari luar:
|
1 |
network.host: 0.0.0.0 |
Jangan lupa simpan perubahan dengan tekan (Ctrl+O, Enter, Ctrl+X).
g. Jalankan dan aktifkan Elasticsearch
Jika proses instalasi berjalan lancar, kamu bisa menjalankan dan mengaktifkan Elasticsearch:
|
1 2 |
sudo systemctl enable elasticsearch sudo systemctl start elasticsearch |
h. Verifikasi
Pastikan Elasticsearch berjalan di server dengan perintah berikut:
|
1 |
curl -X GET "localhost:9200" |
2. Instal dan Konfigurasi Logstash
Logstash merupakan alat untuk mengumpulkan, memfilter, dan mentransformasikan data sebelum masuk ke Elasticsearch.Â
a. Instal package Logstash
|
1 |
sudo apt install logstash |
b. Input config (/etc/logstash/conf.d/02-beats-input.conf)
|
1 2 3 4 5 |
input { Â beats { Â Â port => 5044 Â } } |
c. Output config (/etc/logstash/conf.d/30-elasticsearch-output.conf):
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
output {  if [@metadata][pipeline] {   elasticsearch {    hosts => ["localhost:9200"]    manage_template => false    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"    pipeline => "%{[@metadata][pipeline]}"   }  } else {   elasticsearch {    hosts => ["localhost:9200"]    manage_template => false    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"   }  } } |
d. Tes config
|
1 |
sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t |
e. Jalankan dan aktifkan Logstash
|
1 2 |
sudo systemctl start logstash sudo systemctl enable logstash |
3. Instal dan Konfigurasi Kibana
Kibana adalah alat yang berfungsi sebagai dashboard untuk visualisasi data Elasticsearch. Fungsinya adalah agar kita bisa melihat data dan monitoring status Elasticsearch melalui web UI, bukan hanya melalui command line.Â
Pengaturan reverse proxy menggunakan Nginx dan pemasangan proteksi login juga dibutuhkan agar Kibana aman saat diakses dari internet.
a. Instal Kibana
|
1 |
sudo apt install kibana |
b. Aktifkan dan jalankan Kibana
|
1 2 |
sudo systemctl enable kibana sudo systemctl start kibana |
c. Atur Nginx reverse proxy
Pengaturan reverse proxy menggunakan Nginx bisa dilakukan dengan langkah berikut:
– Buat user auth:
|
1 |
echo "kibanaadmin:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/htpasswd.users |
– Konfigurasi Nginx (/etc/nginx/sites-available/your_domain):
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
server { Â Â listen 80; Â Â server_name your_domain; Â Â auth_basic "Restricted Access"; Â Â auth_basic_user_file /etc/nginx/htpasswd.users; Â Â location / { Â Â Â Â proxy_pass http://localhost:5601; Â Â Â Â proxy_http_version 1.1; Â Â Â Â proxy_set_header Upgrade $http_upgrade; Â Â Â Â proxy_set_header Connection 'upgrade'; Â Â Â Â proxy_set_header Host $host; Â Â Â Â proxy_cache_bypass $http_upgrade; Â Â } } |
– Enable site dan reload Nginx:
|
1 2 3 |
sudo ln -s /etc/nginx/sites-available/your_domain /etc/nginx/sites-enabled/your_domain sudo nginx -t sudo systemctl reload nginx |
d. Ijinkan akses firewall
|
1 |
sudo ufw allow 'Nginx Full' |
e. Akses Kibana
|
1 |
http://your_server_ip:5601 |
4. Instal dan Konfigurasi Filebeat
Filebeat merupakan agen ringan yang berfungsi untuk mengirimkan file log ke Logstash. Tujuannya agar Filebeat bisa mengambil log dari sistem lokal kamu (contoh: syslog, nginx log, app log) dan mengirimnya ke Logstash untuk diproses dan disimpan di Elasticsearch.
a. Instal Filebeat
|
1 |
sudo apt install filebeat |
b. Edit Filebeat Config (/etc/filebeat/filebeat.yml)
Disable output.elasticsearch
|
1 2 |
#output.elasticsearch: Â #... |
5. Verifikasi dan Tes
Setelah semua layanan berjalan, pastikan tidak ada masalah:
|
1 2 3 |
sudo systemctl status elasticsearch sudo systemctl status logstash sudo systemctl status kibana |
Jika semua berjalan dengan baik, akses Kibana dan pastikan kamu dapat melihat data dari Elasticsearch.
6. Troubleshooting
Jika ada masalah pada instalasi, berikut beberapa hal yang bisa dicek:
a. Cek log error
|
1 2 3 |
sudo journalctl -u elasticsearch sudo journalctl -u logstash sudo journalctl -u kibana |
b. Cek port terbuka
Pastikan port 9200 (Elasticsearch), 5044 (Logstash), dan 5601 (Kibana) sudah terbuka:
|
1 2 3 |
sudo ufw allow 9200/tcp sudo ufw allow 5044/tcp sudo ufw allow 5601/tcp |
Kesimpulan
Dengan mengikuti panduan ini, kamu berhasil menginstal dan mengkonfigurasi ELK Stack di VPS. ELK Stack merupakan solusi handal untuk mengelola dan memvisualisasikan data secara real-time. Dengan Elasticsearch sebagai mesin pencari, Logstash sebagai pengumpul data, dan Kibana sebagai alat visualisasi, kamu dapat memonitor sistem dengan lebih efisien.
Agar proses pengelolaan dan analisis data kamu semakin aman dan terjamin, gunakan Cloud VPS dari DomaiNesia yang sudah terbukti aman dan handal. Dengan Cloud VPS dari DomaiNesia, maka data kamu akan tersimpan dengan aman dan proses pengolahannya bisa dilakukan dengan mudah!
Ita Sugiharti
If this post has reached you, then I hope it helps. If you have any questions or feedback, just leave a comment.
