moonwalker.id
Event: Soft launch moonwalker.id — Ikutan baca dan kasih feedback!
Baca Blog

Bangun Proxmox Hyper‑Converged Ceph Cluster (HCI)

14 Aug 2025

Kita bakal ngebangun cluster Ceph langsung di node Proxmox (hyper‑converged). Artinya, compute + storage se‑node. Enak buat homelab dan cluster kecil—asal tau batasannya.

Disclaimer santai: untuk produksi serius, siapin jaringan yang proper (dual NIC, VLAN, jumbo frames optional), monitoring, dan dokumentasi. Kalau nggak… siap‑siap jadi admin siaga 24/7.

ASCII Arsitektur (Public vs Cluster Network)

           +----------------------+           +----------------------+
           |      Client/VM       |           |      Client/VM       |
           +-----------+----------+           +-----------+----------+
                       |                                  |
                       | Public network (RBD/CephFS)      |
                       v                                  v
+----------------------+----------------------+  +---------------------+---------------------+
|     pve1 (MON/MGR/OSD)   10.10.10.11       |  |  pve2 (MON/MGR/OSD)   10.10.10.12        |
+----------------+---------------------------+  +----------------+--------------------------+
                 ^      Cluster network      ^                   ^     Cluster network      ^
                 |         (replication)     |                   |        (replication)     |
                 +------------ 10.10.20.x ---+-------------------+------------ 10.10.20.x --+
                              |                                                      |
                              v                                                      v
                         +----------------------+                              +----------------------+
                         |  pve3 (MON/MGR/OSD) |                              |     Other nodes...   |
                         +----------------------+                              +----------------------+

Prasyarat

  • 3 node Proxmox VE (minimal) dengan versi sama
  • Minimal 1 disk kosong per node buat OSD (lebih = lebih mantap)
  • Jaringan:
    • Public network (misal: 10.10.10.0/24)
    • Cluster network (misal: 10.10.20.0/24)
  • NTP sinkron, DNS/hosts rapi

1) Install paket Ceph

GUI (recommended, step‑by‑step):

  • Node > Ceph > Install Ceph > pilih versi > Install
  • Ulang di tiap node

CLI alternatif (di tiap node):

pveceph install

2) Init cluster Ceph

Di node pertama (pve1), set network public & cluster:

pveceph init --network 10.10.10.0/24 --cluster-network 10.10.20.0/24
pveceph mon create   # monitor
pveceph mgr create   # manager

Tambah MON di node lain (via GUI):

  • Node pve2 > Ceph > Monitor > Create
  • Node pve3 > Ceph > Monitor > Create

Cek status:

ceph -s

3) Siapkan OSD (disk buat Ceph)

GUI path (lebih aman buat pemula):

  • Node > Ceph > OSD > Create OSD > pilih disk kosong (/dev/sdb, /dev/sdc) > Create
  • Ulang di tiap node

CLI alternatif:

pveceph osd create /dev/sdb
pveceph osd create /dev/sdc

Cek OSD:

ceph osd tree

4) Buat pool RBD (buat disk VM/CT)

pveceph pool create rbd-hci --size 3 --min_size 2 --add_storages no

5) Tambah storage ke Proxmox

GUI:

  • Datacenter > Storage > Add > RBD
    • ID: ceph-rbd
    • Pool: rbd-hci
    • Mon host: 10.10.10.11;10.10.10.12;10.10.10.13
    • User: client.admin (atau user khusus)
    • Content: Disk image, Container
  • (Opsional) CephFS
    • Datacenter > Storage > Add > CephFS

CLI contoh:

pvesh create /storage -storage ceph-rbd -type rbd \
  -monhost "10.10.10.11;10.10.10.12;10.10.10.13" \
  -pool rbd-hci -username client.admin -content images,rootdir

6) Test end‑to‑end

  • Buat VM baru di storage ceph-rbd
  • Live‑migrate VM antar node
  • Simulasi node down (satu aja!) — data tetap aman, VM bisa pindah

Cek status dan kesehatan:

ceph -s
ceph osd df
ceph osd pool ls detail

7) Tuning singkat

  • Pisahkan public vs cluster network (NIC dedicated)
  • size 3, min_size 2 cocok untuk 3 node awal
  • Failure domain: host (default) — pastikan replica nyebar antar node
  • PG autoscaler aktif

GUI Snippet ringkas (cheatsheet)

  • Install Ceph: Node > Ceph > Install
  • Init: Node pve1 > Ceph > Configuration > Set networks > Initialize
  • MON/MGR: Node > Ceph > Monitor/Manager > Create
  • OSD: Node > Ceph > OSD > Create OSD
  • Pool: Datacenter > Ceph > Pools > Create
  • Storage: Datacenter > Storage > Add > RBD / CephFS

Checklist cepat

  • NTP sinkron, DNS/hosts bener
  • NIC dedicated untuk cluster network
  • Disk OSD bukan disk OS
  • Uji failover/migrate sebelum produksi

Penutup

HCI Proxmox + Ceph itu nikmat: footprint kecil, HA storage nempel compute. Konsekuensi: desain jaringan harus bener dan pemantauan jalan. Sisanya tinggal dirawat—kayak bonsai, cuma lebih bising.

Referensi utama: Proxmox Wiki — Deploy Hyper‑Converged Ceph Cluster.