Bearbeiten von „Intern Diskussion:Ora“

== Erstellen von Containern ==

* Rechtsklick auf ein Node - Create CT <br>
* General: hostname, passwort Festlegen, bei Turnkey "unpriviledged container" deaktivieren<br>
* Template: CT-Template von einem Speicher laden, vermutlich CephFS<br>
* Root Disk: Storage: storage (rbd), Disksize einstellen<br>
* CPU, Memory einstellen wie man es braucht<br>
* Network,DNS: Bridge: vmbr1, den Rest einstellen wie man es braucht<br>

== High Availability ==

Man kann Container und VMs zum HA hinzufügen, sodass diese einen Neustart/Ausfall von einem Node überleben. 

Die virtuelle HDD (Root Disk) dieser '''muss''' dafür im RDB-Storage liegen. Root-Disks im lokalen ZFS-Speicher führen zu Problemen!

* Auf den Container/VM gehen, dann im Menü Options "start at boot" auf Yes stellen
* auf Datacenter (cluster) gehen, im Menü "HA" bei Ressources auf add:
** Bei VM: den Container/VM auswählen
** Bei Group: HA_cluster wählen
* hinzufügen

== Fehler im Cluster von Ceph ==

=== Fehler von OSDs für Ceph ===

==== osd.4 spackt erneut ====

[https://10.1.0.31:8006/#v1:0:18:4:::::::38 Datacenter (''cluster'') -> Ceph]

* (andauernde) Warnmeldung ''1 daemons have recently crashed''
* ''osd.4 crashed on host n3''

: <code>ceph crash ls</code>
<pre>
ID                                                               ENTITY NEW 
2021-04-12_13:05:29.248655Z_384845a2-f660-4c38-a9a8-3fde5eb66b25 osd.4      
2021-07-09_14:28:03.207985Z_8519c6ab-d4e4-42b6-a5c0-16aaadbcea9e osd.4      
</pre>

: <code>ceph crash archive-all</code>

== Aktualisierung (von Ceph 14 auf) Ceph 15 ==

nach https://pve.proxmox.com/wiki/Ceph_Nautilus_to_Octopus


----


: <code>sed -i 's/nautilus/octopus/' /etc/apt/sources.list.d/ceph.list</code>


: <code>ceph osd set noout</code>

GUI
<pre>
noout flag(s) set
</pre>


: <code>apt update && apt -y full-upgrade</code>


: <code>systemctl restart ceph-mon.target</code>

* Alle Monitore (''Monitors'') werden von gelb auf grün angezeigt.
* [unerwartet] Alle Manager (''Manager'') werden von gelb auf grün angezeigt.


: <code>systemctl restart ceph-mgr.target</code>


(Achtung! Bei der Durchfühung auf den einzelnen Nodes zum Neustarten der OSDs für Ceph ist darauf zu achten, dass die Gesundheit nach dem Neustarten der OSDs für Ceph vom vorherigen Node "zurück" sind.)
: <code>systemctl restart ceph-osd.target</code>

GUI
<pre>
2 pools have too many placement groups
</pre>
<pre>
Pool storage has 128 placement groups, should have 32
Pool cephfs_data has 128 placement groups, should have 32
</pre>

F……k!

Weitermachen?! Jo!


: <code>ceph config set osd bluestore_fsck_quick_fix_on_mount false</code>


: <code>ceph osd require-osd-release octopus</code>

==== zu hohe Anzahl von placement groups für Ceph in einigen Pool für Ceph ====

; Problem: Ceph "meckert" (durch seine Funktionalität ), dass die Anzahl vom placement groups im P

: <code>ceph osd pool autoscale-status</code>
<pre>
POOL                     SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  
storage                758.9G                3.0        11178G  0.2037                                  1.0     128          32  warn       
cephfs_data            277.4G                3.0        11178G  0.0745                                  1.0     128          32  warn       
cephfs_metadata         7789k                3.0        11178G  0.0000                                  4.0      32              warn       
device_health_metrics   1312k                3.0        11178G  0.0000                                  1.0       1              on         
</pre>

: <code>pveceph pool ls</code>
<pre>
┌───────────────────────┬──────┬──────────┬────────┬─────────────┬────────────────┬───────────────────┬──────────────────────────┬───────────────────────────┬─────────────────┬──────────────────────┬───────────────┐
│ Name                  │ Size │ Min Size │ PG Num │ min. PG Num │ Optimal PG Num │ PG Autoscale Mode │ PG Autoscale Target Size │ PG Autoscale Target Ratio │ Crush Rule Name │               %-Used │          Used │
╞═══════════════════════╪══════╪══════════╪════════╪═════════════╪════════════════╪═══════════════════╪══════════════════════════╪═══════════════════════════╪═════════════════╪══════════════════════╪═══════════════╡
│ cephfs_data           │    3 │        2 │    128 │             │             32 │ warn              │                          │                           │ replicated_rule │     0.10118156671524 │  893843079168 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ cephfs_metadata       │    3 │        2 │     32 │          16 │             16 │ warn              │                          │                           │ replicated_rule │ 3.23224207932071e-06 │      25664757 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ device_health_metrics │    3 │        2 │      1 │           1 │              1 │ on                │                          │                           │ replicated_rule │  5.0767386028383e-07 │       4031038 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ storage               │    3 │        2 │    128 │             │             32 │ warn              │                          │                           │ replicated_rule │    0.228989392518997 │ 2358233763477 │
└───────────────────────┴──────┴──────────┴────────┴─────────────┴────────────────┴───────────────────┴──────────────────────────┴───────────────────────────┴─────────────────┴──────────────────────┴───────────────┘
</pre>


: <code>ceph osd pool get cephfs_data pg_num</code>
pg_num: 128
: <code>ceph osd pool get cephfs_data pgp_num</code>
pgp_num: 128
: <code>ceph osd pool get storage pg_num</code>
pg_num: 128
: <code>ceph osd pool get storage pgp_num</code>
pgp_num: 128

----

<pre>
root@n1:~# ceph osd pool get cephfs_data pgp_num
pgp_num: 128
root@n1:~# ceph osd pool set cephfs_data pgp_num 32
set pool 2 pgp_num to 32
root@n1:~# ceph osd pool get cephfs_data pgp_num
pgp_num: 122
root@n1:~# ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
root@n1:~# ceph osd pool get storage pgp_num
pgp_num: 128
root@n1:~# ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
root@n1:~# ceph osd pool get storage pgp_num
pgp_num: 128
</pre>

GUI
<pre>
2 pools have pg_num > pgp_num
</pre>
<pre>
pool storage pg_num 128 > pgp_num 32
pool cephfs_data pg_num 128 > pgp_num 32
</pre>

Austüdeln lassen!

----

<s><!-- noch nicht ausprobiert -->
w00t? Das kann auch "autogescalet" werden? https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html-single/storage_strategies_guide/index#auto-scaling-placement-groups

''testpool'' ist die Variable für die Bezeichnung vom Pool für Ceph.
: <code>ceph osd pool set testpool pg_autoscale_mode on</code>

Setzen der Variable, dass immmer beim Erstellen von einem Pool für Ceph
: <code>ceph config set global osd_pool_default_pg_autoscale_mode <mode></code>
</s>

----

: <code></code>

== Streiken von einem einzelnen Gerät für Massenspeicher in einem Cluster für Ceph ==

----

1 osds down

osd.4 (root=default,host=n3) is down

----

1 daemons have recently crashed

osd.4 crashed on host n3 at 2021-08-09T21:29:34.296598Z

----