Wiki StuRa HTW Dresden - Benutzerbeiträge [de]

Lenovo ThinkServer RD210

2024-07-26T14:36:25Z

Goeranh: /* Gerät */

[[Server/dicke Berta]] ist ein [[Server]] (Hardware) vom [[StuRa]].

== Gerät ==

* hergestellt von: Lenovo
* Modell: ThinkServer RD210
* Typ: 379627G

{| class="wikitable"
|-
! rowspan="2" |
! rowspan="2" | Komponente
! colspan="2" | Anzahl
! rowspan="2" | Bezeichnung
|-
! belegt
! belegbar
|-
| 1
| Mainboard
| colspan="2" style="text-align:right" | 1
| chipset Intel 5520
|-
| 16 GB
| RAM
| style="text-align:right"| 8
| style="text-align:right"| 8 (16)
| 2 GB PC3-10600 ECC
|-
| 1
| CPU
| style="text-align:right"| 1
| style="text-align:right"| 2
| [http://ark.intel.com/products/40711/Intel-Xeon-Processor-E5504-%284M-Cache-2_00-GHz-4_80-GTs-Intel-QPI%29 Intel(R) Xeon(R) CPU E5504 @2.00GHz]
|-
| 1.500 GB
| HDD
| style="text-align:right"| 3
| style="text-align:right"| 6
| 500 GB Lenovo 2x ThinkServer ST9500203FCCF9 funktionierend, 1x IBM ST9500530NS defekt
|-
|}

; RAM
: Ein einzelner RAM DIMM kann höchstens 8 GB groß sein.
: Mit 8 x RAM DIMM ist vorerst das Maximum erreicht. Die Nutzung von weiteren (bis zu) 8 x RAM DIMM wären erst nach wesentlichen anderen Änderungen (Einbau weiterer CPU) möglich.

; [[#Integrated Management Module|IMM]] Premium

=== Software für das Gerät ===

* [https://support.lenovo.com/at/de/products/servers/thinkserver-rack-servers/thinkserver-rd210 ''Support'' von ''Lenovo'': Produkt ThinkServer RD210]
*: Dateien und Dokumente direkt von herstellenden Unternehmen Lenovo für den allgemeinen Betrieb derartiger Hardware

== [[Anschaffung]] ==

Abgeschrieben!

2010/2011?

== Entstehung ==

Eingangs sei erwähnt, dass es sich bei [[Server/dicke Berta]] um den ersten Server für einen [[Serverschrank]] handelt.

Zuvor gab es auch einen Server, der aber eher den Charakter wie ein [[Computer]] als Desktop hatte. In die Jahre gekommen fielen gelegentlich (zunehmend häufig) Komponenten aus. Liebevoll wurde von administrativen Kräften (wie zuletzt [[JoSch]]) immer wieder der Aufwand betrieben den alten Server in Betrieb zu halten. So musste sich mehrjährig das Flehen von unbedarften Kräfte (wie maßgeblich [[Benutzer:PaulRiegel|Paul]]) angehört werden, dass doch bitte etwa solides [[Anschaffung | angeschafft]] werden möge. Damit war der Wunsch nach mehr Stabilität für die [[Referat studentische Selbstverwaltung & Organisation | Verwaltung]] und Potential zur Vereinfachung und Verbesserung (Kontinuität, Nachvollziehbarkeit usw.) des Arbeiten des StuRa und seines Umfeldes verbunden.

[[JoSch]] entsprach dem Flehen von [[Benutzer:PaulRiegel|Paul]] und es kam zur [[#Anschaffung]].

== Bezeichnung ==

Im Rahmen der Anschaffung ergab sich durch den Sprachgebrauch, statt ''der Server'', schon die Verwendung mit der Begrifflichkeit ''dicke Berta'' als eine Art geflügeltes Wort. Damit war eigentlich nur gemeint, dass es sich um einen (für die bisherigen Verhältnisse) fetten Brummer an [[Rechentechnik]] handelt.

; Siehe auch: [[Server#Bezeichnungen]]

== BIOS ==

=== fehlendes Passwort zum BIOS ===

Es wurde (im Rahmen der [[Intern:Server/Aktualisierung/2015]]) festgestellt, dass für den Zugang zum BIOS ein Passwort gesetzt ist und dieses nicht bekannt ist. Auch nach anstrengender Suche wurde es nicht gefunden.

Das Entfernen des administrativen Passwortes ist offensichtlich nicht möglich. Es bedarf dem Ersetzen vom gesamten Board.[https://support.lenovo.com/us/en/documents/ht036206]

=== Aktualisierung vom BIOS ===

Ein Aktualisieren vom BIOS ist trotz [[#fehlendes Passwort zum BIOS|fehlenden Passwortes zum BIOS]] mit dem [[#Integrated Management Module]] möglich.

[http://support.lenovo.com/at/de/products/servers/thinkserver-rack-servers/thinkserver-rd210?tabName=Downloads Bei Lenovo kann Software für eine Maschine ''ThinkServer RD210'' gefunden werden.]

==== einzelne Aktualisierungen vom BIOS ====

* 2015-03-09: BIOS auf uEFI 1.09

== Software ==

=== Betriebssystem ===

[[FreeNAS]] ([[FreeBSD]])

== Lagerort ==

[[Serverschrank]]

== Besonderheiten ==

=== [[wikipedia:de:Lights Out Management#Hersteller | Integrated Management Module]] ===

Der [[Server/dicke Berta]] verfügt über ein Hard- und Software für ein [[wikipedia:en:IBM Remote Supervisor Adapter#Integrated Management Module (IMM) | Integrated Management Module]].

==== Adresse Integrated Management Module ====

* [[Server/srs1337#Andministration per http]]
** http://192.168.100.12

==== Anmelden beim Integrated Management Module ====


==== Benachrichtigung durch Integrated Management Module eingestellt ====
: Vielleicht kurz zum Hintergrund: 2015-06-15 stieg ein Lüfter aus und [[Server/dicke Berta]] startete nicht mehr. Es sollte so die Möglichkeit geschafften werden, dass womöglich eine entsprechende Nachricht durch das IMM an den [[Bereich Administration Rechentechnik]] versendet wird.

* ''System'' -> ''IMM Control'' -> ''Alerts''
** ''Remote Alert Recipients''
**; Status: Enabled
**; Name: admin
**; E-mail address (userid@hostname): admin@stura.htw-dresden.de
**; Include event log with e-mail alerts: X
** ''Monitored Alerts''
**; alles: X

=== Starten von anderen Geräten ===

Grundsätzlich wird priorisiert von den Geräten als (interne) Massenspeicher gestartet.
: Das Booten von einem USB-Stick ist möglich, wenn keine anderen Geräte erkannt werden.
: Das exemplarische Szenario zum Starten eines Betriebssystems vom USB-Stick kann wie folgt erfolgen:
:* Alle Massenspeicher entfernen,
:* USB-Stick erkennen lassen, aber nicht durchstarten, sondern erst einmal Massenspeicher wieder einlegen,
:* Massenspeicher erkennen lassen und
:* dann von USB-Stick weiter zum Starten des Betriebssystems (etwa für eine Installation) gehen.

== Verwendung ==

[[Server/dicke Berta]] dient seit Anbeginn als [[srs1337]].

=== aktuelle Verwendung ===

Als [[srs1337]] ist [[Server/dicke Berta]] der zentrale [[Server]] des [[StuRa]].

=== vorherige Verwendung ===

==== Verwendung bis 2015 ====

Im Unterschied zur [[#Verwendung zu Beginn]] gab es ergänzend zu [[Server/dicke Berta]] noch [[Server/fette Elke]] als [[srs2342]].

Neue Dienste wurden daher eher nicht auf [[Server/dicke Berta]] aufgesetzt.

Wegen der Sorge das laufende System anzutasten, wurde [[Server/dicke Berta]] nicht angetastet. Das führte zu einer fehlenden Aktualisierung, die eine arg schlechte Wartbarkeit zur Folge hatte. Auch wenn das Betriebssystem [[FreeBSD]] und alle Dienste weiterhin (wie gewohnt) funktionierten, wurde letztlich [[wikipedia:de:End of life|EOL]] so nennenswert überschritten, dass fehlendes Handeln bedenklich gewesen wäre.

Im Rahmen der [[intern:Server/Aktualisierung/2015]] wurden die wenigen noch verblieben Dienste temporär zu [[Server/fette Elke]] als [[srs2342]] übertragen und [[Server/dicke Berta]] komplett neu aufgesetzt. Dabei wurde beispielsweise [[FreeNAS]] als besondere Distribution von [[FreeBSD]] verwendet, anstatt wie bisher [[FreeBSD]].

==== Verwendung zu Beginn ====

Alle erhaltenswerten Dienste des StuRa, die auf ein anderes System umgezogen werden konnten, wurden auf [[Server/dicke Berta]] migriert. Eigentlich waren das nur
* Verwaltung und Betrieb (nur als Weiterleitung) von [[Mail-Adresse]]n der [[Domain#stura.htw-dresden.de]] und
* Betrieb der [[Website]] des StuRa der Domain [[www.stura.htw-dresden.de]]
.

Dazu wurde von [[JoSch]] [[FreeBSD]] als Betriebssystem verwendet.

; Siehe auch:
* [[#Entstehung]]

== Siehe auch ==

* [[srs1337]]
* [[Server/fette Elke]]

== Weblinks ==

* [http://support.lenovo.com/at/de/products/servers/thinkserver-rack-servers/thinkserver-rd210?tabName=Downloads Lenovo: Support ''ThinkServer RD210'']

[[Kategorie:Server]]
[[Kategorie:Inventar]]
[[Kategorie:Hardware]]
[[Kategorie:Rechentechnik]]

Dell PowerSwitch N4032

2023-12-18T18:21:11Z

Goeranh: /* Einrichtung VLANs für Proxmox SDN */

== Gerät ==

; hergestellt von: Dell
; Modell: [[wikipedia:en:Dell Networking#N4000: 10Gbit multi-layer switches | N]][https://www.dell.com/support/home/de-de/product-support/product/networking-n4000-series/docs 4000]
; [https://geizhals.de/a1539227.html Typ]: N4032

=== Dokumentation für das Gerät ===

* [https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell_Networking_N4000_Series_SpecSheet.pdf SpecSheet Dell Networking N4000 Series]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_administrator-guide10_en-us.pdf Administrator Guide]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_user's-guide11_en-us.pdf CLI reference guide]

=== Software für das Gerät ===

=== Einstellungen vom Gerät ===

Wenn möglich sollen 2 Geräte als Satck genutzt werden. Diese Funktion ermöglicht es nur einen Switch wirklich konfigurieren zu müssen, und der andere übernimmt die Firmware und Konfiguration.

==== Einrichtung SSH Zugang ====
<nowiki>
enable
configure
interface out-of-band
ip address 10.1.0.189 255.255.255.0 0.0.0.0
exit
ip telnet server disable
ip ssh server
exit

write
</nowiki>

==== Switch Verwaltung ====
Der Switch kann seriell, oder per SSH erreicht werden.
`ssh administration@10.1.0.189`

`show version` Command zeigt systemstatus, besonders für stacking an
<nowiki>
Machine Description............... Dell EMC Networking Switch
System Model ID................... N4032
Machine Type...................... Dell Networking N4032
Serial Number..................... CN04G4FP282984AI0164A01
Manufacturer...................... 0xbc00
Burned In MAC Address............. F8B1.565B.6260
System Object ID.................. 1.3.6.1.4.1.674.10895.3042
CPU Version....................... XLP308H-B2
SOC Version....................... BCM56842_A1
HW Version........................ 3
CPLD Version...................... 17
Image File........................ N4000v6.5.4.21
Software Capability............... Stack Limit = 12, VLAN Limit = 4093

unit active backup current-active next-active
---- ----------- ----------- -------------- --------------
1 6.5.4.21 6.5.4.21 6.5.4.21 6.5.4.21
</nowiki>

`show switch`
<nowiki>
Management Standby Preconfig Plugged-in Switch Code
SW Status Status Model ID Model ID Status Version
--- ---------- --------- ------------- ------------- ------------- -----------
1 Mgmt Sw N4032 N4032 OK 6.5.4.21
</nowiki>

`show ?` zeigt eine Liste an anderen Commands

`show interfaces configuration` zeigt alle von allen Ports den Status an auch Paketstatistiken und VLAN Informationen
<nowiki>
Port Description Duplex Speed Neg MTU Admin
State
--------- ------------------------------ ------ ------- ---- ----- -----
Te1/0/1 Full 1000 Auto 9216 Up
Te1/0/2 Full 1000 Auto 9216 Up
Te1/0/3 N/A Unknown Auto 9216 Up
Te1/0/4 N/A Unknown Auto 9216 Up
Te1/0/5 Full 1000 Auto 9216 Up
Te1/0/6 N/A Unknown Auto 9216 Up
Te1/0/7 N/A Unknown Auto 9216 Up
Te1/0/8 N/A Unknown Auto 9216 Up
Te1/0/9 N/A Unknown Auto 9216 Up
Te1/0/10 N/A Unknown Auto 9216 Up
Te1/0/11 N/A Unknown Auto 9216 Up
Te1/0/12 N/A Unknown Auto 9216 Up
Te1/0/13 N/A Unknown Auto 9216 Up
Te1/0/14 N/A Unknown Auto 9216 Up
Te1/0/15 N/A Unknown Auto 9216 Up
Te1/0/16 N/A Unknown Auto 9216 Up
Te1/0/17 N/A Unknown Auto 9216 Up
Te1/0/18 N/A Unknown Auto 9216 Up
Te1/0/19 N/A Unknown Auto 9216 Up
</nowiki>

`show system` zeigt allgemeine Systeminfos, wie CPU-Temperatur, Lüfter-Status und Messwerte der Stromversorgungen an.
<nowiki>
System Description: Dell EMC Networking Switch
System Up Time: 2 days, 20h:47m:53s
System Contact:
System Name:
System Location:
Burned In MAC Address: F8B1.565B.6260
System Object ID: 1.3.6.1.4.1.674.10895.3042
System Model ID: N4032
Machine Type: Dell Networking N4032

System Thermal Conditions:

Unit Temperature State
(Celsius)
---- ----------- -----------
1 53 Good

Temperature Sensors:

Unit Description Temperature
(Celsius)
---- ------------------ -----------
1 MAC 53
1 CPU 51
1 PHY (left side) 47
1 PHY (right side) 49

Fans:

Unit Description Status
---- ----------- -------------
1 Fan-1 OK
1 Fan-2 OK
1 Fan-3 OK
1 Fan-4 OK
1 PS-1 Fan OK
1 PS-2 Fan OK
</nowiki>

`show supported switchtype` zeigt an, welche Modelle als Stacking-Partner in Frage kommen
<nowiki>
SID Switch Model ID
--- --------------------------------
1 N4032
2 N4032F
3 N4064
4 N4064F
</nowiki>
`show running-config` zeigt die derzeitig laufende Konfiguration an

==== Einrichtung Jumboframes ====

Die maximale Größe von Frames für die N4000er Switches ist 9216.

<nowiki>
enable
configure
system jumbo mtu 9216
end
write</nowiki>

==== Einrichtung VLANs für Proxmox SDN ====
Wir möchten in Proxmox das mit v8.0 eingeführte SDN (Software defined networking) Feature verwenden. Im Cluster würde sich dafür entweder der VLAN oder der VxLAN Modus eignen. VxLAN funktioniert mit folgender Interface Konfiguration:
<nowiki>
configure
! vlan 10 erstellen und benennen
vlan 10
name "upstream"
exit

! Port 1 und 2 als Trunk-Port konfigurieren
interface Te1/0/1
switchport mode trunk
switchport general acceptable-frame-type tagged-only
exit
interface Te1/0/2
switchport mode trunk
switchport general acceptable-frame-type tagged-only
exit

! port 5 als Tagged Vlan 10 für internes Netz definieren
interface Te1/0/5
switchport access vlan 10
exit</nowiki>

== Zweck ==

Testen von und mit [[wikipedia:en:10 Gigabit Ethernet|10 Gigabit]] foo

= Gerät 0 =

=== Einstellungen vom Gerät 0 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

= Gerät 1 =

=== Einstellungen vom Gerät 1 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

== Siehe auch ==

* [[Switch]]
* [[Dell PowerEdge R510]]

[[Kategorie:Server]]
[[Kategorie:Hardware]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]
[[Kategorie:Inventar Externer]]

Dell PowerSwitch N4032

2023-12-18T18:19:28Z

Goeranh: /* Einrichtung Jumboframes */

== Gerät ==

; hergestellt von: Dell
; Modell: [[wikipedia:en:Dell Networking#N4000: 10Gbit multi-layer switches | N]][https://www.dell.com/support/home/de-de/product-support/product/networking-n4000-series/docs 4000]
; [https://geizhals.de/a1539227.html Typ]: N4032

=== Dokumentation für das Gerät ===

* [https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell_Networking_N4000_Series_SpecSheet.pdf SpecSheet Dell Networking N4000 Series]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_administrator-guide10_en-us.pdf Administrator Guide]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_user's-guide11_en-us.pdf CLI reference guide]

=== Software für das Gerät ===

=== Einstellungen vom Gerät ===

Wenn möglich sollen 2 Geräte als Satck genutzt werden. Diese Funktion ermöglicht es nur einen Switch wirklich konfigurieren zu müssen, und der andere übernimmt die Firmware und Konfiguration.

==== Einrichtung SSH Zugang ====
<nowiki>
enable
configure
interface out-of-band
ip address 10.1.0.189 255.255.255.0 0.0.0.0
exit
ip telnet server disable
ip ssh server
exit

write
</nowiki>

==== Switch Verwaltung ====
Der Switch kann seriell, oder per SSH erreicht werden.
`ssh administration@10.1.0.189`

`show version` Command zeigt systemstatus, besonders für stacking an
<nowiki>
Machine Description............... Dell EMC Networking Switch
System Model ID................... N4032
Machine Type...................... Dell Networking N4032
Serial Number..................... CN04G4FP282984AI0164A01
Manufacturer...................... 0xbc00
Burned In MAC Address............. F8B1.565B.6260
System Object ID.................. 1.3.6.1.4.1.674.10895.3042
CPU Version....................... XLP308H-B2
SOC Version....................... BCM56842_A1
HW Version........................ 3
CPLD Version...................... 17
Image File........................ N4000v6.5.4.21
Software Capability............... Stack Limit = 12, VLAN Limit = 4093

unit active backup current-active next-active
---- ----------- ----------- -------------- --------------
1 6.5.4.21 6.5.4.21 6.5.4.21 6.5.4.21
</nowiki>

`show switch`
<nowiki>
Management Standby Preconfig Plugged-in Switch Code
SW Status Status Model ID Model ID Status Version
--- ---------- --------- ------------- ------------- ------------- -----------
1 Mgmt Sw N4032 N4032 OK 6.5.4.21
</nowiki>

`show ?` zeigt eine Liste an anderen Commands

`show interfaces configuration` zeigt alle von allen Ports den Status an auch Paketstatistiken und VLAN Informationen
<nowiki>
Port Description Duplex Speed Neg MTU Admin
State
--------- ------------------------------ ------ ------- ---- ----- -----
Te1/0/1 Full 1000 Auto 9216 Up
Te1/0/2 Full 1000 Auto 9216 Up
Te1/0/3 N/A Unknown Auto 9216 Up
Te1/0/4 N/A Unknown Auto 9216 Up
Te1/0/5 Full 1000 Auto 9216 Up
Te1/0/6 N/A Unknown Auto 9216 Up
Te1/0/7 N/A Unknown Auto 9216 Up
Te1/0/8 N/A Unknown Auto 9216 Up
Te1/0/9 N/A Unknown Auto 9216 Up
Te1/0/10 N/A Unknown Auto 9216 Up
Te1/0/11 N/A Unknown Auto 9216 Up
Te1/0/12 N/A Unknown Auto 9216 Up
Te1/0/13 N/A Unknown Auto 9216 Up
Te1/0/14 N/A Unknown Auto 9216 Up
Te1/0/15 N/A Unknown Auto 9216 Up
Te1/0/16 N/A Unknown Auto 9216 Up
Te1/0/17 N/A Unknown Auto 9216 Up
Te1/0/18 N/A Unknown Auto 9216 Up
Te1/0/19 N/A Unknown Auto 9216 Up
</nowiki>

`show system` zeigt allgemeine Systeminfos, wie CPU-Temperatur, Lüfter-Status und Messwerte der Stromversorgungen an.
<nowiki>
System Description: Dell EMC Networking Switch
System Up Time: 2 days, 20h:47m:53s
System Contact:
System Name:
System Location:
Burned In MAC Address: F8B1.565B.6260
System Object ID: 1.3.6.1.4.1.674.10895.3042
System Model ID: N4032
Machine Type: Dell Networking N4032

System Thermal Conditions:

Unit Temperature State
(Celsius)
---- ----------- -----------
1 53 Good

Temperature Sensors:

Unit Description Temperature
(Celsius)
---- ------------------ -----------
1 MAC 53
1 CPU 51
1 PHY (left side) 47
1 PHY (right side) 49

Fans:

Unit Description Status
---- ----------- -------------
1 Fan-1 OK
1 Fan-2 OK
1 Fan-3 OK
1 Fan-4 OK
1 PS-1 Fan OK
1 PS-2 Fan OK
</nowiki>

`show supported switchtype` zeigt an, welche Modelle als Stacking-Partner in Frage kommen
<nowiki>
SID Switch Model ID
--- --------------------------------
1 N4032
2 N4032F
3 N4064
4 N4064F
</nowiki>
`show running-config` zeigt die derzeitig laufende Konfiguration an

==== Einrichtung Jumboframes ====

Die maximale Größe von Frames für die N4000er Switches ist 9216.

<nowiki>
enable
configure
system jumbo mtu 9216
end
write</nowiki>

==== Einrichtung VLANs für Proxmox SDN ====
<nowiki>
configure
! vlan 10 erstellen und benennen
vlan 10
name "upstream"
exit

! Port 1 und 2 als Trunk-Port konfigurieren
interface Te1/0/1
switchport mode trunk
switchport general acceptable-frame-type tagged-only
exit
interface Te1/0/2
switchport mode trunk
switchport general acceptable-frame-type tagged-only
exit

! port 5 als Tagged Vlan 10 für internes Netz definieren
interface Te1/0/5
switchport access vlan 10
exit</nowiki>

== Zweck ==

Testen von und mit [[wikipedia:en:10 Gigabit Ethernet|10 Gigabit]] foo

= Gerät 0 =

=== Einstellungen vom Gerät 0 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

= Gerät 1 =

=== Einstellungen vom Gerät 1 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

== Siehe auch ==

* [[Switch]]
* [[Dell PowerEdge R510]]

[[Kategorie:Server]]
[[Kategorie:Hardware]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]
[[Kategorie:Inventar Externer]]

Dell PowerSwitch N4032

2023-12-18T18:13:49Z

Goeranh: /* Einrichtung Verwaltung */

== Gerät ==

; hergestellt von: Dell
; Modell: [[wikipedia:en:Dell Networking#N4000: 10Gbit multi-layer switches | N]][https://www.dell.com/support/home/de-de/product-support/product/networking-n4000-series/docs 4000]
; [https://geizhals.de/a1539227.html Typ]: N4032

=== Dokumentation für das Gerät ===

* [https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell_Networking_N4000_Series_SpecSheet.pdf SpecSheet Dell Networking N4000 Series]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_administrator-guide10_en-us.pdf Administrator Guide]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_user's-guide11_en-us.pdf CLI reference guide]

=== Software für das Gerät ===

=== Einstellungen vom Gerät ===

Wenn möglich sollen 2 Geräte als Satck genutzt werden. Diese Funktion ermöglicht es nur einen Switch wirklich konfigurieren zu müssen, und der andere übernimmt die Firmware und Konfiguration.

==== Einrichtung SSH Zugang ====
<nowiki>
enable
configure
interface out-of-band
ip address 10.1.0.189 255.255.255.0 0.0.0.0
exit
ip telnet server disable
ip ssh server
exit

write
</nowiki>

==== Switch Verwaltung ====
Der Switch kann seriell, oder per SSH erreicht werden.
`ssh administration@10.1.0.189`

`show version` Command zeigt systemstatus, besonders für stacking an
<nowiki>
Machine Description............... Dell EMC Networking Switch
System Model ID................... N4032
Machine Type...................... Dell Networking N4032
Serial Number..................... CN04G4FP282984AI0164A01
Manufacturer...................... 0xbc00
Burned In MAC Address............. F8B1.565B.6260
System Object ID.................. 1.3.6.1.4.1.674.10895.3042
CPU Version....................... XLP308H-B2
SOC Version....................... BCM56842_A1
HW Version........................ 3
CPLD Version...................... 17
Image File........................ N4000v6.5.4.21
Software Capability............... Stack Limit = 12, VLAN Limit = 4093

unit active backup current-active next-active
---- ----------- ----------- -------------- --------------
1 6.5.4.21 6.5.4.21 6.5.4.21 6.5.4.21
</nowiki>

`show switch`
<nowiki>
Management Standby Preconfig Plugged-in Switch Code
SW Status Status Model ID Model ID Status Version
--- ---------- --------- ------------- ------------- ------------- -----------
1 Mgmt Sw N4032 N4032 OK 6.5.4.21
</nowiki>

`show ?` zeigt eine Liste an anderen Commands

`show interfaces configuration` zeigt alle von allen Ports den Status an auch Paketstatistiken und VLAN Informationen
<nowiki>
Port Description Duplex Speed Neg MTU Admin
State
--------- ------------------------------ ------ ------- ---- ----- -----
Te1/0/1 Full 1000 Auto 9216 Up
Te1/0/2 Full 1000 Auto 9216 Up
Te1/0/3 N/A Unknown Auto 9216 Up
Te1/0/4 N/A Unknown Auto 9216 Up
Te1/0/5 Full 1000 Auto 9216 Up
Te1/0/6 N/A Unknown Auto 9216 Up
Te1/0/7 N/A Unknown Auto 9216 Up
Te1/0/8 N/A Unknown Auto 9216 Up
Te1/0/9 N/A Unknown Auto 9216 Up
Te1/0/10 N/A Unknown Auto 9216 Up
Te1/0/11 N/A Unknown Auto 9216 Up
Te1/0/12 N/A Unknown Auto 9216 Up
Te1/0/13 N/A Unknown Auto 9216 Up
Te1/0/14 N/A Unknown Auto 9216 Up
Te1/0/15 N/A Unknown Auto 9216 Up
Te1/0/16 N/A Unknown Auto 9216 Up
Te1/0/17 N/A Unknown Auto 9216 Up
Te1/0/18 N/A Unknown Auto 9216 Up
Te1/0/19 N/A Unknown Auto 9216 Up
</nowiki>

`show system` zeigt allgemeine Systeminfos, wie CPU-Temperatur, Lüfter-Status und Messwerte der Stromversorgungen an.
<nowiki>
System Description: Dell EMC Networking Switch
System Up Time: 2 days, 20h:47m:53s
System Contact:
System Name:
System Location:
Burned In MAC Address: F8B1.565B.6260
System Object ID: 1.3.6.1.4.1.674.10895.3042
System Model ID: N4032
Machine Type: Dell Networking N4032

System Thermal Conditions:

Unit Temperature State
(Celsius)
---- ----------- -----------
1 53 Good

Temperature Sensors:

Unit Description Temperature
(Celsius)
---- ------------------ -----------
1 MAC 53
1 CPU 51
1 PHY (left side) 47
1 PHY (right side) 49

Fans:

Unit Description Status
---- ----------- -------------
1 Fan-1 OK
1 Fan-2 OK
1 Fan-3 OK
1 Fan-4 OK
1 PS-1 Fan OK
1 PS-2 Fan OK
</nowiki>

`show supported switchtype` zeigt an, welche Modelle als Stacking-Partner in Frage kommen
<nowiki>
SID Switch Model ID
--- --------------------------------
1 N4032
2 N4032F
3 N4064
4 N4064F
</nowiki>
`show running-config` zeigt die derzeitig laufende Konfiguration an

==== Einrichtung Jumboframes ====

Die maximale Größe von Frames für die N4000er Switches ist 9216.

<nowiki>
enable
configure
system jumbo mtu 9216
end
write</nowiki>

== Zweck ==

Testen von und mit [[wikipedia:en:10 Gigabit Ethernet|10 Gigabit]] foo

= Gerät 0 =

=== Einstellungen vom Gerät 0 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

= Gerät 1 =

=== Einstellungen vom Gerät 1 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

== Siehe auch ==

* [[Switch]]
* [[Dell PowerEdge R510]]

[[Kategorie:Server]]
[[Kategorie:Hardware]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]
[[Kategorie:Inventar Externer]]

Dell PowerSwitch N4032

2023-12-18T18:12:32Z

Goeranh: /* Einrichtung SSH Zugang */

== Gerät ==

; hergestellt von: Dell
; Modell: [[wikipedia:en:Dell Networking#N4000: 10Gbit multi-layer switches | N]][https://www.dell.com/support/home/de-de/product-support/product/networking-n4000-series/docs 4000]
; [https://geizhals.de/a1539227.html Typ]: N4032

=== Dokumentation für das Gerät ===

* [https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell_Networking_N4000_Series_SpecSheet.pdf SpecSheet Dell Networking N4000 Series]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_administrator-guide10_en-us.pdf Administrator Guide]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_user's-guide11_en-us.pdf CLI reference guide]

=== Software für das Gerät ===

=== Einstellungen vom Gerät ===

Wenn möglich sollen 2 Geräte als Satck genutzt werden. Diese Funktion ermöglicht es nur einen Switch wirklich konfigurieren zu müssen, und der andere übernimmt die Firmware und Konfiguration.

==== Einrichtung SSH Zugang ====
<nowiki>
enable
configure
interface out-of-band
ip address 10.1.0.189 255.255.255.0 0.0.0.0
exit
ip telnet server disable
ip ssh server
exit

write
</nowiki>

==== Einrichtung SSH Zugang ====
Der Switch kann seriell, oder per SSH erreicht werden.
`ssh administration@10.1.0.189`

`show version` Command zeigt systemstatus, besonders für stacking an
<nowiki>
Machine Description............... Dell EMC Networking Switch
System Model ID................... N4032
Machine Type...................... Dell Networking N4032
Serial Number..................... CN04G4FP282984AI0164A01
Manufacturer...................... 0xbc00
Burned In MAC Address............. F8B1.565B.6260
System Object ID.................. 1.3.6.1.4.1.674.10895.3042
CPU Version....................... XLP308H-B2
SOC Version....................... BCM56842_A1
HW Version........................ 3
CPLD Version...................... 17
Image File........................ N4000v6.5.4.21
Software Capability............... Stack Limit = 12, VLAN Limit = 4093

unit active backup current-active next-active
---- ----------- ----------- -------------- --------------
1 6.5.4.21 6.5.4.21 6.5.4.21 6.5.4.21
</nowiki>

`show switch`
<nowiki>
Management Standby Preconfig Plugged-in Switch Code
SW Status Status Model ID Model ID Status Version
--- ---------- --------- ------------- ------------- ------------- -----------
1 Mgmt Sw N4032 N4032 OK 6.5.4.21
</nowiki>

`show ?` zeigt eine Liste an anderen Commands

`show interfaces configuration` zeigt alle von allen Ports den Status an auch Paketstatistiken und VLAN Informationen
<nowiki>
Port Description Duplex Speed Neg MTU Admin
State
--------- ------------------------------ ------ ------- ---- ----- -----
Te1/0/1 Full 1000 Auto 9216 Up
Te1/0/2 Full 1000 Auto 9216 Up
Te1/0/3 N/A Unknown Auto 9216 Up
Te1/0/4 N/A Unknown Auto 9216 Up
Te1/0/5 Full 1000 Auto 9216 Up
Te1/0/6 N/A Unknown Auto 9216 Up
Te1/0/7 N/A Unknown Auto 9216 Up
Te1/0/8 N/A Unknown Auto 9216 Up
Te1/0/9 N/A Unknown Auto 9216 Up
Te1/0/10 N/A Unknown Auto 9216 Up
Te1/0/11 N/A Unknown Auto 9216 Up
Te1/0/12 N/A Unknown Auto 9216 Up
Te1/0/13 N/A Unknown Auto 9216 Up
Te1/0/14 N/A Unknown Auto 9216 Up
Te1/0/15 N/A Unknown Auto 9216 Up
Te1/0/16 N/A Unknown Auto 9216 Up
Te1/0/17 N/A Unknown Auto 9216 Up
Te1/0/18 N/A Unknown Auto 9216 Up
Te1/0/19 N/A Unknown Auto 9216 Up
</nowiki>

`show system` zeigt allgemeine Systeminfos, wie CPU-Temperatur, Lüfter-Status und Messwerte der Stromversorgungen an.
<nowiki>
System Description: Dell EMC Networking Switch
System Up Time: 2 days, 20h:47m:53s
System Contact:
System Name:
System Location:
Burned In MAC Address: F8B1.565B.6260
System Object ID: 1.3.6.1.4.1.674.10895.3042
System Model ID: N4032
Machine Type: Dell Networking N4032

System Thermal Conditions:

Unit Temperature State
(Celsius)
---- ----------- -----------
1 53 Good

Temperature Sensors:

Unit Description Temperature
(Celsius)
---- ------------------ -----------
1 MAC 53
1 CPU 51
1 PHY (left side) 47
1 PHY (right side) 49

Fans:

Unit Description Status
---- ----------- -------------
1 Fan-1 OK
1 Fan-2 OK
1 Fan-3 OK
1 Fan-4 OK
1 PS-1 Fan OK
1 PS-2 Fan OK
</nowiki>

`show supported switchtype` zeigt an, welche Modelle als Stacking-Partner in Frage kommen
<nowiki>
SID Switch Model ID
--- --------------------------------
1 N4032
2 N4032F
3 N4064
4 N4064F
</nowiki>
`show running-config` zeigt die derzeitig laufende Konfiguration an

==== Einrichtung Jumboframes ====

Die maximale Größe von Frames für die N4000er Switches ist 9216.

<nowiki>
enable
configure
system jumbo mtu 9216
end
write</nowiki>

== Zweck ==

Testen von und mit [[wikipedia:en:10 Gigabit Ethernet|10 Gigabit]] foo

= Gerät 0 =

=== Einstellungen vom Gerät 0 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

= Gerät 1 =

=== Einstellungen vom Gerät 1 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

== Siehe auch ==

* [[Switch]]
* [[Dell PowerEdge R510]]

[[Kategorie:Server]]
[[Kategorie:Hardware]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]
[[Kategorie:Inventar Externer]]

Dell PowerSwitch N4032

2023-12-18T18:11:45Z

Goeranh:

== Gerät ==

; hergestellt von: Dell
; Modell: [[wikipedia:en:Dell Networking#N4000: 10Gbit multi-layer switches | N]][https://www.dell.com/support/home/de-de/product-support/product/networking-n4000-series/docs 4000]
; [https://geizhals.de/a1539227.html Typ]: N4032

=== Dokumentation für das Gerät ===

* [https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/Dell_Networking_N4000_Series_SpecSheet.pdf SpecSheet Dell Networking N4000 Series]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_administrator-guide10_en-us.pdf Administrator Guide]
* [https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_networking/esuprt_net_fxd_prt_swtchs/networking-n4000-series_user's-guide11_en-us.pdf CLI reference guide]

=== Software für das Gerät ===

=== Einstellungen vom Gerät ===

Wenn möglich sollen 2 Geräte als Satck genutzt werden. Diese Funktion ermöglicht es nur einen Switch wirklich konfigurieren zu müssen, und der andere übernimmt die Firmware und Konfiguration.

==== Einrichtung SSH Zugang ====
<nowiki>
enable
configure
interface out-of-band
ip address 10.1.0.189 255.255.255.0 0.0.0.0
exit
ip telnet server disable
ip ssh server
exit

write
</nowiki>

==== Einrichtung SSH Zugang ====
Der Switch kann seriell, oder per SSH erreicht werden.
`ssh administration@10.1.0.189`

`show version` Command zeigt systemstatus, besonders für stacking an
<nowiki>
Machine Description............... Dell EMC Networking Switch
System Model ID................... N4032
Machine Type...................... Dell Networking N4032
Serial Number..................... CN04G4FP282984AI0164A01
Manufacturer...................... 0xbc00
Burned In MAC Address............. F8B1.565B.6260
System Object ID.................. 1.3.6.1.4.1.674.10895.3042
CPU Version....................... XLP308H-B2
SOC Version....................... BCM56842_A1
HW Version........................ 3
CPLD Version...................... 17
Image File........................ N4000v6.5.4.21
Software Capability............... Stack Limit = 12, VLAN Limit = 4093

unit active backup current-active next-active
---- ----------- ----------- -------------- --------------
1 6.5.4.21 6.5.4.21 6.5.4.21 6.5.4.21
</nowiki>

`show switch`
<nowiki>
Management Standby Preconfig Plugged-in Switch Code
SW Status Status Model ID Model ID Status Version
--- ---------- --------- ------------- ------------- ------------- -----------
1 Mgmt Sw N4032 N4032 OK 6.5.4.21
</nowiki>

`show ?` zeigt eine Liste an anderen Commands

`show interfaces configuration` zeigt alle von allen Ports den Status an auch Paketstatistiken und VLAN Informationen
<nowiki>
Port Description Duplex Speed Neg MTU Admin
State
--------- ------------------------------ ------ ------- ---- ----- -----
Te1/0/1 Full 1000 Auto 9216 Up
Te1/0/2 Full 1000 Auto 9216 Up
Te1/0/3 N/A Unknown Auto 9216 Up
Te1/0/4 N/A Unknown Auto 9216 Up
Te1/0/5 Full 1000 Auto 9216 Up
Te1/0/6 N/A Unknown Auto 9216 Up
Te1/0/7 N/A Unknown Auto 9216 Up
Te1/0/8 N/A Unknown Auto 9216 Up
Te1/0/9 N/A Unknown Auto 9216 Up
Te1/0/10 N/A Unknown Auto 9216 Up
Te1/0/11 N/A Unknown Auto 9216 Up
Te1/0/12 N/A Unknown Auto 9216 Up
Te1/0/13 N/A Unknown Auto 9216 Up
Te1/0/14 N/A Unknown Auto 9216 Up
Te1/0/15 N/A Unknown Auto 9216 Up
Te1/0/16 N/A Unknown Auto 9216 Up
Te1/0/17 N/A Unknown Auto 9216 Up
Te1/0/18 N/A Unknown Auto 9216 Up
Te1/0/19 N/A Unknown Auto 9216 Up
</nowiki>

`show system` zeigt allgemeine Systeminfos, wie CPU-Temperatur, Lüfter-Status und Messwerte der Stromversorgungen an.
<nowiki>
System Description: Dell EMC Networking Switch
System Up Time: 2 days, 20h:47m:53s
System Contact:
System Name:
System Location:
Burned In MAC Address: F8B1.565B.6260
System Object ID: 1.3.6.1.4.1.674.10895.3042
System Model ID: N4032
Machine Type: Dell Networking N4032

System Thermal Conditions:

Unit Temperature State
(Celsius)
---- ----------- -----------
1 53 Good

Temperature Sensors:

Unit Description Temperature
(Celsius)
---- ------------------ -----------
1 MAC 53
1 CPU 51
1 PHY (left side) 47
1 PHY (right side) 49

Fans:

Unit Description Status
---- ----------- -------------
1 Fan-1 OK
1 Fan-2 OK
1 Fan-3 OK
1 Fan-4 OK
1 PS-1 Fan OK
1 PS-2 Fan OK
</nowiki>

==== Einrichtung Jumboframes ====

Die maximale Größe von Frames für die N4000er Switches ist 9216.

<nowiki>
enable
configure
system jumbo mtu 9216
end
write</nowiki>

== Zweck ==

Testen von und mit [[wikipedia:en:10 Gigabit Ethernet|10 Gigabit]] foo

= Gerät 0 =

=== Einstellungen vom Gerät 0 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

= Gerät 1 =

=== Einstellungen vom Gerät 1 ===

; Reset:

<s>Es fand (2023-11-17) ein pauschales Zurücksetzen der Einstellungen statt.</s>

== Siehe auch ==

* [[Switch]]
* [[Dell PowerEdge R510]]

[[Kategorie:Server]]
[[Kategorie:Hardware]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]
[[Kategorie:Inventar Externer]]

Dell PowerSwitch N4032

2023-12-18T18:04:58Z

Goeranh: /* Einstellungen vom Gerät */

Dell PowerSwitch N4032

2023-12-18T17:54:50Z

Goeranh: /* Einrichtung SSH Zugang */

Dell PowerSwitch N4032

2023-12-18T17:53:55Z

Goeranh: /* Einrichtung SSH Zugang */

Dell PowerSwitch N4032

2023-12-18T13:20:15Z

Goeranh: /* Dokumentation für das Gerät */

Dell PowerSwitch N4032

2023-12-18T13:19:32Z

Goeranh: /* Dokumentation für das Gerät */

Server/b1

2023-12-10T04:21:51Z

Goeranh: /* Zusätzlich installierte Software */

== Gerät ==

; hergestellt von: Fuitsu
; Modell (Product): Primergy RX300 S8
; Typ (Model): PR300C-D2939
:; (Part No.): K1457-V101-8

{| class="wikitable"
|-
! rowspan="2" |
! rowspan="2" | Komponente
! colspan="2" | Anzahl
! rowspan="2" | Bezeichnung
|-
! belegt
! belegbar
|-
| 1
| Mainboard
| colspan="2" style="text-align:right" | 1
|
|-
| 96 GB
| RAM
| style="text-align:right"| 12
| style="text-align:right"| 2 x 12
| 8 GB (ECC)
: 4 x SK hynix [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
: 8 x Kingston [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
|-
| 1
| CPU
| style="text-align:right"| 1
| style="text-align:right"| 2
| style="text-align:right"|[http://ark.intel.com/products/64594/Intel-Xeon-Processor-E5-2620-15M-Cache-2_00-GHz-7_20-GTs-Intel-QPI Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz]
|-
| 1
| RAID
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod-81156.html D2616]-A22 GS 1
* 8 x SAS/SATA
|-
| <s>1.200 GB</s> (2 ·) 2 TB
| HDD
| style="text-align:right"| <s>2</s> 2
| style="text-align:right"| 6
| <s>600 GB (SAS)</s> 2 TB [https://www.hgst.com/products/hard-drives/ultrastar-7k6000 HGST HUS726020ALS214]([https://www.heise.de/preisvergleich/hgst-ultrastar-7k6000-2tb-hus726020als214-0f22961-a1750617.html 0F22961])
|-
| 1
| Netzwerk
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod_143315.html D2745]-A11 GS 1
* 4 x 1 GBit
|-
|}

; [[#integrated Remote Management Controller|iRMC]]

=== Software für das Gerät ===

== Anschaffung ==

Was für eine Geschichte! Es war einmal eine alte Infrastruktur, die ersetzt werden sollte ...

Selbst Ende 2016 war das Drama noch nicht geklärt!

Hoffentlich wird bald hier das gute Ende vermerkt stehen.

== Betriebssystem ==
<s>
[[FreeNAS]] Corral

== FreeNAS ==

=== Installation von FreeNAS ===

==== Vorbereitung der Installation von FreeNAS ====

===== sonst übliche Vorbereitung der Installation von FreeNAS =====

Die (Vorbereitung der) Installation von FreeNAS[http://doc.freenas.org/9.10/install.htmll] erfolgt eigentlich schlichtweg durch
* das [http://doc.freenas.org/9.10/install.html#getting-freenas]Beziehen von einer ''iso''-Datei, welche schon als startfähig vorbereitet ist,
* das [http://doc.freenas.org/9.10/install.html#preparing-the-media]Erstellen von einem Startmedium mit der ''iso''-Datei und
* das Starten von dem Startmedium auf der Maschine, wo FreeNAS betrieben werden soll.

==== Durchführung der Installation von FreeNAS ====

2016-10-29

; First Boot

; FreeNAS Einstellungen


==== Anpassungen nach der Installation von FreeNAS ====


===== Versand von Mails von FreeNAS =====

* System
** Email
*** From email:
***: ''srs3008@stura''…
*** Outgoing mail server:
***: ''mail.stura''…
**: …

===== bash als übliche Shell für root =====

* Account
** Users
*** View Users
**** root
***** Shell:
*****: bash

===== verschlüsselte Verbindung für die Web-Oberfläche =====

* System
** CAs
*** erstellt
** Certifcates
*** erstellt

===== Adressen für die Umwelt mit legacy IP =====

* Network
** Global Configuration
*** eingetragen
**** ....

===== feste Adresse mit legacy IP =====

* Network
** Interfaces
*** hinzugefügt
***: siehe [[Intern:Server#Verwendung von IP-Adressen]]
**** ....

==== anstehende Anpassungen nach der Installation von FreeNAS ====

===== Störung von ''smartd'' beheben =====

smartd is not running.

Das liegt wohl an dem foo mit dem (anscheind nicht verzichtbaren) Hardware-RAID!

[[Diskussion:Server/srs3008#smartd und der Zugriff über den RAID Controller bei FreeNAS]]

=== Dokumentation FreeNAS ===

http://doc.freenas.org/9.10/

; Siehe auch:
* [[srs1337#besonders Nennenswertes zu FreeNAS]]

=== Nachbessern bei FreeNAS ===
</s>

== Proxmox VE ==

[[Proxmox VE]]

=== Installation von Proxmox VE ===

=== Konfiguration von Proxmox VE ===

== Proxmox Backup Server ==

Dokumentation mangelhaft (siehe https://pro.stura.htw-dresden.de/issues/1828)

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE. Es wird als Dateisystem ZFS verwendet.

Konfiguration des Pools

<pre>
root@b1:~# zpool status
pool: backup
state: ONLINE
scan: scrub in progress since Sun Dec 10 00:24:03 2023
3.33T scanned at 0B/s, 1.42T issued at 255M/s, 3.34T total
0B repaired, 42.51% done, 02:11:35 to go
config:

NAME STATE READ WRITE CKSUM
backup ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
wwn-0x5000cca25e489938 ONLINE 0 0 0
wwn-0x5000cca25e2f69b0 ONLINE 0 0 0
wwn-0x5000cca25e49eb1c ONLINE 0 0 0
wwn-0x5000cca25e463d14 ONLINE 0 0 0

errors: No known data errors

pool: rpool
state: ONLINE
scan: scrub repaired 0B in 00:13:11 with 0 errors on Sun Dec 10 00:37:16 2023
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-ST2000NM0011_Z1P2XPCP-part3 ONLINE 0 0 0
ata-ST32000645NS_Z1K0PDJP-part3 ONLINE 0 0 0

errors: No known data errors
root@b1:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
backup 2.42T 2.73T 2.42T /mnt/datastore/backup
rpool 11.1G 1.75T 96K /rpool
rpool/ROOT 11.0G 1.75T 96K /rpool/ROOT
rpool/ROOT/pbs-1 11.0G 1.75T 11.0G /
root@b1:~#
</pre>

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE.

https://pro.stura.htw-dresden.de/issues/791
-- Reinstall
https://pro.stura.htw-dresden.de/issues/1140
https://pro.stura.htw-dresden.de/issues/1187
https://pro.stura.htw-dresden.de/issues/1723

=== Zusätzlich installierte Software ===
Es wurde lshw, tmux, parted, iperf3, iotop, iftop, lm-sensors, htop, vim installiert.

== Siehe auch ==

* [[Server]]
** [[Server/srs3005]]
** [[Server/srs3006]]
** [[Server/srs3007]] (mögliche Geschwister)
* [[Maschine/nax]]

[[Kategorie:Server]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]

Server/b1

2023-12-10T02:24:49Z

Goeranh: /* Proxmox Backup Server */

== Gerät ==

; hergestellt von: Fuitsu
; Modell (Product): Primergy RX300 S8
; Typ (Model): PR300C-D2939
:; (Part No.): K1457-V101-8

{| class="wikitable"
|-
! rowspan="2" |
! rowspan="2" | Komponente
! colspan="2" | Anzahl
! rowspan="2" | Bezeichnung
|-
! belegt
! belegbar
|-
| 1
| Mainboard
| colspan="2" style="text-align:right" | 1
|
|-
| 96 GB
| RAM
| style="text-align:right"| 12
| style="text-align:right"| 2 x 12
| 8 GB (ECC)
: 4 x SK hynix [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
: 8 x Kingston [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
|-
| 1
| CPU
| style="text-align:right"| 1
| style="text-align:right"| 2
| style="text-align:right"|[http://ark.intel.com/products/64594/Intel-Xeon-Processor-E5-2620-15M-Cache-2_00-GHz-7_20-GTs-Intel-QPI Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz]
|-
| 1
| RAID
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod-81156.html D2616]-A22 GS 1
* 8 x SAS/SATA
|-
| <s>1.200 GB</s> (2 ·) 2 TB
| HDD
| style="text-align:right"| <s>2</s> 2
| style="text-align:right"| 6
| <s>600 GB (SAS)</s> 2 TB [https://www.hgst.com/products/hard-drives/ultrastar-7k6000 HGST HUS726020ALS214]([https://www.heise.de/preisvergleich/hgst-ultrastar-7k6000-2tb-hus726020als214-0f22961-a1750617.html 0F22961])
|-
| 1
| Netzwerk
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod_143315.html D2745]-A11 GS 1
* 4 x 1 GBit
|-
|}

; [[#integrated Remote Management Controller|iRMC]]

=== Software für das Gerät ===

== Anschaffung ==

Was für eine Geschichte! Es war einmal eine alte Infrastruktur, die ersetzt werden sollte ...

Selbst Ende 2016 war das Drama noch nicht geklärt!

Hoffentlich wird bald hier das gute Ende vermerkt stehen.

== Betriebssystem ==
<s>
[[FreeNAS]] Corral

== FreeNAS ==

=== Installation von FreeNAS ===

==== Vorbereitung der Installation von FreeNAS ====

===== sonst übliche Vorbereitung der Installation von FreeNAS =====

Die (Vorbereitung der) Installation von FreeNAS[http://doc.freenas.org/9.10/install.htmll] erfolgt eigentlich schlichtweg durch
* das [http://doc.freenas.org/9.10/install.html#getting-freenas]Beziehen von einer ''iso''-Datei, welche schon als startfähig vorbereitet ist,
* das [http://doc.freenas.org/9.10/install.html#preparing-the-media]Erstellen von einem Startmedium mit der ''iso''-Datei und
* das Starten von dem Startmedium auf der Maschine, wo FreeNAS betrieben werden soll.

==== Durchführung der Installation von FreeNAS ====

2016-10-29

; First Boot

; FreeNAS Einstellungen


==== Anpassungen nach der Installation von FreeNAS ====


===== Versand von Mails von FreeNAS =====

* System
** Email
*** From email:
***: ''srs3008@stura''…
*** Outgoing mail server:
***: ''mail.stura''…
**: …

===== bash als übliche Shell für root =====

* Account
** Users
*** View Users
**** root
***** Shell:
*****: bash

===== verschlüsselte Verbindung für die Web-Oberfläche =====

* System
** CAs
*** erstellt
** Certifcates
*** erstellt

===== Adressen für die Umwelt mit legacy IP =====

* Network
** Global Configuration
*** eingetragen
**** ....

===== feste Adresse mit legacy IP =====

* Network
** Interfaces
*** hinzugefügt
***: siehe [[Intern:Server#Verwendung von IP-Adressen]]
**** ....

==== anstehende Anpassungen nach der Installation von FreeNAS ====

===== Störung von ''smartd'' beheben =====

smartd is not running.

Das liegt wohl an dem foo mit dem (anscheind nicht verzichtbaren) Hardware-RAID!

[[Diskussion:Server/srs3008#smartd und der Zugriff über den RAID Controller bei FreeNAS]]

=== Dokumentation FreeNAS ===

http://doc.freenas.org/9.10/

; Siehe auch:
* [[srs1337#besonders Nennenswertes zu FreeNAS]]

=== Nachbessern bei FreeNAS ===
</s>

== Proxmox VE ==

[[Proxmox VE]]

=== Installation von Proxmox VE ===

=== Konfiguration von Proxmox VE ===

== Proxmox Backup Server ==

Dokumentation mangelhaft (siehe https://pro.stura.htw-dresden.de/issues/1828)

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE. Es wird als Dateisystem ZFS verwendet.

Konfiguration des Pools

<pre>
root@b1:~# zpool status
pool: backup
state: ONLINE
scan: scrub in progress since Sun Dec 10 00:24:03 2023
3.33T scanned at 0B/s, 1.42T issued at 255M/s, 3.34T total
0B repaired, 42.51% done, 02:11:35 to go
config:

NAME STATE READ WRITE CKSUM
backup ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
wwn-0x5000cca25e489938 ONLINE 0 0 0
wwn-0x5000cca25e2f69b0 ONLINE 0 0 0
wwn-0x5000cca25e49eb1c ONLINE 0 0 0
wwn-0x5000cca25e463d14 ONLINE 0 0 0

errors: No known data errors

pool: rpool
state: ONLINE
scan: scrub repaired 0B in 00:13:11 with 0 errors on Sun Dec 10 00:37:16 2023
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
ata-ST2000NM0011_Z1P2XPCP-part3 ONLINE 0 0 0
ata-ST32000645NS_Z1K0PDJP-part3 ONLINE 0 0 0

errors: No known data errors
root@b1:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
backup 2.42T 2.73T 2.42T /mnt/datastore/backup
rpool 11.1G 1.75T 96K /rpool
rpool/ROOT 11.0G 1.75T 96K /rpool/ROOT
rpool/ROOT/pbs-1 11.0G 1.75T 11.0G /
root@b1:~#
</pre>

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE.

https://pro.stura.htw-dresden.de/issues/791
-- Reinstall
https://pro.stura.htw-dresden.de/issues/1140
https://pro.stura.htw-dresden.de/issues/1187
https://pro.stura.htw-dresden.de/issues/1723

=== Zusätzlich installierte Software ===
Es wurde lshw, tmux, parted, iperf3, iotop, iftop, lm-sensors, htop installiert.

== Siehe auch ==

* [[Server]]
** [[Server/srs3005]]
** [[Server/srs3006]]
** [[Server/srs3007]] (mögliche Geschwister)
* [[Maschine/nax]]

[[Kategorie:Server]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]

Server/b1

2023-12-10T01:54:03Z

Goeranh: /* Zusätzlich installierte Software */

== Gerät ==

; hergestellt von: Fuitsu
; Modell (Product): Primergy RX300 S8
; Typ (Model): PR300C-D2939
:; (Part No.): K1457-V101-8

{| class="wikitable"
|-
! rowspan="2" |
! rowspan="2" | Komponente
! colspan="2" | Anzahl
! rowspan="2" | Bezeichnung
|-
! belegt
! belegbar
|-
| 1
| Mainboard
| colspan="2" style="text-align:right" | 1
|
|-
| 96 GB
| RAM
| style="text-align:right"| 12
| style="text-align:right"| 2 x 12
| 8 GB (ECC)
: 4 x SK hynix [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
: 8 x Kingston [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
|-
| 1
| CPU
| style="text-align:right"| 1
| style="text-align:right"| 2
| style="text-align:right"|[http://ark.intel.com/products/64594/Intel-Xeon-Processor-E5-2620-15M-Cache-2_00-GHz-7_20-GTs-Intel-QPI Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz]
|-
| 1
| RAID
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod-81156.html D2616]-A22 GS 1
* 8 x SAS/SATA
|-
| <s>1.200 GB</s> (2 ·) 2 TB
| HDD
| style="text-align:right"| <s>2</s> 2
| style="text-align:right"| 6
| <s>600 GB (SAS)</s> 2 TB [https://www.hgst.com/products/hard-drives/ultrastar-7k6000 HGST HUS726020ALS214]([https://www.heise.de/preisvergleich/hgst-ultrastar-7k6000-2tb-hus726020als214-0f22961-a1750617.html 0F22961])
|-
| 1
| Netzwerk
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod_143315.html D2745]-A11 GS 1
* 4 x 1 GBit
|-
|}

; [[#integrated Remote Management Controller|iRMC]]

=== Software für das Gerät ===

== Anschaffung ==

Was für eine Geschichte! Es war einmal eine alte Infrastruktur, die ersetzt werden sollte ...

Selbst Ende 2016 war das Drama noch nicht geklärt!

Hoffentlich wird bald hier das gute Ende vermerkt stehen.

== Betriebssystem ==
<s>
[[FreeNAS]] Corral

== FreeNAS ==

=== Installation von FreeNAS ===

==== Vorbereitung der Installation von FreeNAS ====

===== sonst übliche Vorbereitung der Installation von FreeNAS =====

Die (Vorbereitung der) Installation von FreeNAS[http://doc.freenas.org/9.10/install.htmll] erfolgt eigentlich schlichtweg durch
* das [http://doc.freenas.org/9.10/install.html#getting-freenas]Beziehen von einer ''iso''-Datei, welche schon als startfähig vorbereitet ist,
* das [http://doc.freenas.org/9.10/install.html#preparing-the-media]Erstellen von einem Startmedium mit der ''iso''-Datei und
* das Starten von dem Startmedium auf der Maschine, wo FreeNAS betrieben werden soll.

==== Durchführung der Installation von FreeNAS ====

2016-10-29

; First Boot

; FreeNAS Einstellungen


==== Anpassungen nach der Installation von FreeNAS ====


===== Versand von Mails von FreeNAS =====

* System
** Email
*** From email:
***: ''srs3008@stura''…
*** Outgoing mail server:
***: ''mail.stura''…
**: …

===== bash als übliche Shell für root =====

* Account
** Users
*** View Users
**** root
***** Shell:
*****: bash

===== verschlüsselte Verbindung für die Web-Oberfläche =====

* System
** CAs
*** erstellt
** Certifcates
*** erstellt

===== Adressen für die Umwelt mit legacy IP =====

* Network
** Global Configuration
*** eingetragen
**** ....

===== feste Adresse mit legacy IP =====

* Network
** Interfaces
*** hinzugefügt
***: siehe [[Intern:Server#Verwendung von IP-Adressen]]
**** ....

==== anstehende Anpassungen nach der Installation von FreeNAS ====

===== Störung von ''smartd'' beheben =====

smartd is not running.

Das liegt wohl an dem foo mit dem (anscheind nicht verzichtbaren) Hardware-RAID!

[[Diskussion:Server/srs3008#smartd und der Zugriff über den RAID Controller bei FreeNAS]]

=== Dokumentation FreeNAS ===

http://doc.freenas.org/9.10/

; Siehe auch:
* [[srs1337#besonders Nennenswertes zu FreeNAS]]

=== Nachbessern bei FreeNAS ===
</s>

== Proxmox VE ==

[[Proxmox VE]]

=== Installation von Proxmox VE ===

=== Konfiguration von Proxmox VE ===

== Proxmox Backup Server ==

Dokumentation mangelhaft (siehe https://pro.stura.htw-dresden.de/issues/1828)

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE.

https://pro.stura.htw-dresden.de/issues/791
-- Reinstall
https://pro.stura.htw-dresden.de/issues/1140
https://pro.stura.htw-dresden.de/issues/1187
https://pro.stura.htw-dresden.de/issues/1723

=== Zusätzlich installierte Software ===
Es wurde lshw, tmux, parted, iperf3, iotop, iftop, lm-sensors, htop installiert.

== Siehe auch ==

* [[Server]]
** [[Server/srs3005]]
** [[Server/srs3006]]
** [[Server/srs3007]] (mögliche Geschwister)
* [[Maschine/nax]]

[[Kategorie:Server]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]

Server/b1

2023-12-10T01:48:21Z

Goeranh: /* Proxmox Backup Server */

== Gerät ==

; hergestellt von: Fuitsu
; Modell (Product): Primergy RX300 S8
; Typ (Model): PR300C-D2939
:; (Part No.): K1457-V101-8

{| class="wikitable"
|-
! rowspan="2" |
! rowspan="2" | Komponente
! colspan="2" | Anzahl
! rowspan="2" | Bezeichnung
|-
! belegt
! belegbar
|-
| 1
| Mainboard
| colspan="2" style="text-align:right" | 1
|
|-
| 96 GB
| RAM
| style="text-align:right"| 12
| style="text-align:right"| 2 x 12
| 8 GB (ECC)
: 4 x SK hynix [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
: 8 x Kingston [https://store.hp.com/us/en/pdp/hp-8gb-1rx4-pc3-12800r-11-kit 1Rx4 PC3-12800R (HP)] 11 12 C2
|-
| 1
| CPU
| style="text-align:right"| 1
| style="text-align:right"| 2
| style="text-align:right"|[http://ark.intel.com/products/64594/Intel-Xeon-Processor-E5-2620-15M-Cache-2_00-GHz-7_20-GTs-Intel-QPI Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz]
|-
| 1
| RAID
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod-81156.html D2616]-A22 GS 1
* 8 x SAS/SATA
|-
| <s>1.200 GB</s> (2 ·) 2 TB
| HDD
| style="text-align:right"| <s>2</s> 2
| style="text-align:right"| 6
| <s>600 GB (SAS)</s> 2 TB [https://www.hgst.com/products/hard-drives/ultrastar-7k6000 HGST HUS726020ALS214]([https://www.heise.de/preisvergleich/hgst-ultrastar-7k6000-2tb-hus726020als214-0f22961-a1750617.html 0F22961])
|-
| 1
| Netzwerk
| colspan="2" style="text-align:right"|
|
[http://www.fujitsu.com/de/products/computing/servers/primergy/components/pmod_143315.html D2745]-A11 GS 1
* 4 x 1 GBit
|-
|}

; [[#integrated Remote Management Controller|iRMC]]

=== Software für das Gerät ===

== Anschaffung ==

Was für eine Geschichte! Es war einmal eine alte Infrastruktur, die ersetzt werden sollte ...

Selbst Ende 2016 war das Drama noch nicht geklärt!

Hoffentlich wird bald hier das gute Ende vermerkt stehen.

== Betriebssystem ==
<s>
[[FreeNAS]] Corral

== FreeNAS ==

=== Installation von FreeNAS ===

==== Vorbereitung der Installation von FreeNAS ====

===== sonst übliche Vorbereitung der Installation von FreeNAS =====

Die (Vorbereitung der) Installation von FreeNAS[http://doc.freenas.org/9.10/install.htmll] erfolgt eigentlich schlichtweg durch
* das [http://doc.freenas.org/9.10/install.html#getting-freenas]Beziehen von einer ''iso''-Datei, welche schon als startfähig vorbereitet ist,
* das [http://doc.freenas.org/9.10/install.html#preparing-the-media]Erstellen von einem Startmedium mit der ''iso''-Datei und
* das Starten von dem Startmedium auf der Maschine, wo FreeNAS betrieben werden soll.

==== Durchführung der Installation von FreeNAS ====

2016-10-29

; First Boot

; FreeNAS Einstellungen


==== Anpassungen nach der Installation von FreeNAS ====


===== Versand von Mails von FreeNAS =====

* System
** Email
*** From email:
***: ''srs3008@stura''…
*** Outgoing mail server:
***: ''mail.stura''…
**: …

===== bash als übliche Shell für root =====

* Account
** Users
*** View Users
**** root
***** Shell:
*****: bash

===== verschlüsselte Verbindung für die Web-Oberfläche =====

* System
** CAs
*** erstellt
** Certifcates
*** erstellt

===== Adressen für die Umwelt mit legacy IP =====

* Network
** Global Configuration
*** eingetragen
**** ....

===== feste Adresse mit legacy IP =====

* Network
** Interfaces
*** hinzugefügt
***: siehe [[Intern:Server#Verwendung von IP-Adressen]]
**** ....

==== anstehende Anpassungen nach der Installation von FreeNAS ====

===== Störung von ''smartd'' beheben =====

smartd is not running.

Das liegt wohl an dem foo mit dem (anscheind nicht verzichtbaren) Hardware-RAID!

[[Diskussion:Server/srs3008#smartd und der Zugriff über den RAID Controller bei FreeNAS]]

=== Dokumentation FreeNAS ===

http://doc.freenas.org/9.10/

; Siehe auch:
* [[srs1337#besonders Nennenswertes zu FreeNAS]]

=== Nachbessern bei FreeNAS ===
</s>

== Proxmox VE ==

[[Proxmox VE]]

=== Installation von Proxmox VE ===

=== Konfiguration von Proxmox VE ===

== Proxmox Backup Server ==

Dokumentation mangelhaft (siehe https://pro.stura.htw-dresden.de/issues/1828)

Damit von wichtigen Instanzen aus dem Proxmox Cluster Backups auf einem anderen Gerät liegen, betreiben wir PBS, weil es von der selben Firma ist, wie PVE.

https://pro.stura.htw-dresden.de/issues/791
-- Reinstall
https://pro.stura.htw-dresden.de/issues/1140
https://pro.stura.htw-dresden.de/issues/1187
https://pro.stura.htw-dresden.de/issues/1723

=== Zusätzlich installierte Software ===
Es wurde lshw installiert.

== Siehe auch ==

* [[Server]]
** [[Server/srs3005]]
** [[Server/srs3006]]
** [[Server/srs3007]] (mögliche Geschwister)
* [[Maschine/nax]]

[[Kategorie:Server]]
[[Kategorie:Software]]
[[Kategorie:Rechentechnik]]

Server/Proxmox Virtual Environment

2022-06-24T12:30:28Z

Goeranh: /* Erstellung von Instanzen der Containerisierung für NixOS */

== Administration ==

=== web user interface ===

==== Browser für das web user interface ====

Es kann nur zu Chromium (notfalls Chrome) geraten werden. Firefox scheint nicht (ideal) geeignet zu sein.

==== Erreichbarkeit vom web user interface ====

Standardmäßig ist das web user interface per https auf Port ''8006'' zu erreichen.[https://pve.proxmox.com/wiki/Ports]

=== sources.list ===

: Proxmox Version 6
: in Anlehnung an [https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Busterh#Adapt_your_sources.list Proxmox:Wiki ''Install Proxmox VE on Debian Buster#Adapt your sources.list'']

Wahrnehmen des Fehlers (401) bei Beziehen der Quelle ''enterprise.proxmox.com''
:: Für die Quelle ''enterprise.proxmox.com'' bedarf es Zugangsdaten (die entsprechend zu vergüten sind). Ohne Zugangsdaten wird der Code (für den Fehler) 401 (fehlerhafte Autorisierung) ausgeliefert.
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Hit:5 http://download.proxmox.com/debian/pve buster InRelease
Err:6 https://enterprise.proxmox.com/debian/pve buster InRelease
401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
Reading package lists... Done
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/buster/InRelease 401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
E: The repository 'https://enterprise.proxmox.com/debian/pve buster InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
</pre>
Anzeigen des Datei mit dem Eintrag für diese Quelle
: <code>cat /etc/apt/sources.list.d/pve-enterprise.list</code>
<pre>
deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
</pre>
Hinzufügen einer (vergleichbaren) alternativen Quelle ohne sich registrieren zu müssen
: <code>echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list</code>
: <code>wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg</code>
<pre></pre>
<pre>
Resolving download.proxmox.com (download.proxmox.com)... 2a01:7e0:0:424::249, 212.224.123.70
Connecting to download.proxmox.com (download.proxmox.com)|2a01:7e0:0:424::249|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1202 (1.2K) [application/octet-stream]
Saving to: '/etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg'

/etc/apt/trusted.gpg.d/proxmo 100%[===============================================>] 1.17K --.-KB/s in 0s
</pre>
<pre></pre>
: <code>cat /etc/apt/sources.list.d/pve-install-repo.list</code>
<pre>
deb http://download.proxmox.com/debian/pve buster pve-no-subscription
</pre>
: <code>mv /etc/apt/sources.list.d/pve-enterprise.list /root/pve-enterprise.list</code>
: <code>mv /etc/apt/sources.list.d/pve-install-repo.list /root/pve-install-repo.list</code>
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Reading package lists... Done
Building dependency tree
Reading state information... Done
10 packages can be upgraded. Run 'apt list --upgradable' to see them.
</pre>
: <code>apt upgrade</code>
<pre>
</pre>

----

: Proxmox Version 5
; versteckt:


=== ZFS ===

Bei {{PAGENAME}} gibt es keine direkte (integrierte) Verwaltung von ZFS. Es wird (größtenteils) verwendet wie alle anderen Dateisysteme. Auf der Kommandozeile geht aber alles.

==== Zurücksetzen der Konfiguration vom Betriebssystem auf einen vorherigen Schnappschuss von ZFS ====

Auch wenn es (seitens ZFS) möglich ist das Dateisystem "unter dem Arsch" vom Betriebssystem zurückzusetzen, so sei davon abgeraten, denn laufende Dienste können damit schlecht umgehen.

* möglichst alle relevanten Dienste stoppen
*: (Es ist leider unklar welche Dienste relevant sind.)
*: Anzeigen lassen aller laufender Dienste
*:: <code>systemctl list-units --type=service --state=running</code>
* ''zfs rollback''
* (möglichst unverzüglich) System neu starten lassen

== Proxmox Storage ==

=== Proxmox Storage Content ===

==== Proxmox Storage Content ''Disk image'' ====

==== Proxmox Storage Content ''ISO image'' ====

==== Proxmox Storage Content ''Container template'' ====

==== Proxmox Storage Content ''VZDump backup file'' ====

==== Proxmox Storage Content ''Container'' ====

==== Proxmox Storage Content ''Snippets'' ====

=== Proxmox Storage Type ===

==== Proxmox Storage Type ''Directory'' ====

==== Proxmox Storage Type ''LVM'' ====

==== Proxmox Storage Type ''LVM-thin'' ====

==== Proxmox Storage Type ''CephFS'' ====

: <code>ls /mnt/pve/</code>
<pre>
cephfs
</pre>

: <code>ls /mnt/pve/cephfs/</code>

==== Proxmox Storage Type ''RDB'' ====

<code>ls /dev/rbd/</code>
<pre>
storage
</pre>

<code>ls /dev/rbd/storage/</code>

==== Proxmox Storage Type ''ZFS'' ====

== Proxmox Ceph ==

[[c3d2:Proxmox#Proxmox Ceph]]

=== Ceph Dashboard ===
[[c3d2:Proxmox#Ceph Dashboard]]

== Containerisierung ==

Für die [[Proxmox Virtual Environment#Containerisierung|Containerisierung bei {{PAGENAME}}]] wird [[LXC]] verwendet.

Auflisten aller bereitgestellten Container
: <code>pveam available</code>

Bei [[{{PAGENAME}}]] wird nach [[#Container für bestimmte Betriebssysteme]] ''system'' (also ohne einen konkreten Zweck der Anwendung angedacht zu haben) und [[#Container für bestimmte Anwendungen]] ''turnkeylinux''. (Genau genommen gibt es noch ''mail'', für die [[#Containerisierung für Proxmox Mail Gateway]].)

=== Erstellung von Instanzen der Containerisierung ===

=== Konfiguration von Instanzen der Containerisierung ===

==== Änderung der Konfiguration von Instanzen der Containerisierung ====

===== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert =====

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch backup and restore ======

Test durchgeführt von goeranh -> Container und VMs können restored werden, indem man auf den Server(n1-3) klickt und dort auf den Storrage b1 -> aus dieser liste kann dann selbst ein gelöschter Container wiederhergestellt werden. Es wurde das Bedenken geäußert, dass VM-IDs kollidieren, wenn ein Container gelöscht wird, ein neuer erstellt und dann der alte Container wieder restored wird. In dieser Situation wird einfach eine neue ID vergeben.

Ungetestet!

* https://pve.proxmox.com/wiki/Unprivileged_LXC_containers#Creation

: <code>pct restore 321 /mnt/pve/cephfs/dump/vzdump-lxc-321-2020_10_11-00_14_05.tar.zst -ignore-unpack-errors 1 -unprivileged</code>

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch chown ======

Der Test (2020-10-10 -11) schlug fehl!
Der Test der Änderung fand bei einem Container nach der [[{{ns:100}}:Server/TurnKey#Aktualisierung von TurnKey 15 auf TurnKey 16]] ([[{{ns:100}}:Server/Nextcloud#TurnKey 15]]) statt.

----

; leidiges Ergebnis:

: <code>systemctl</code>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>

: <code>systemctl status mariadb.service</code>
<pre>
● mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Sun 2020-10-11 08:59:26 CEST; 47s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/
Process: 217 ExecStartPre=/usr/bin/install -m 755 -o mysql -g root -d /var/run/mysqld (code=exited, status=0/SUCCESS)
Process: 235 ExecStartPre=/bin/sh -c systemctl unset-environment _WSREP_START_POSITION (code=exited, status=0/SUCCESS)
Process: 247 ExecStartPre=/bin/sh -c [ ! -e /usr/bin/galera_recovery ] && VAR= || VAR=`cd /usr/bin/..; /usr/bin/galera_recovery`; [ $? -eq 0 ] && systemctl set-environment _WSREP_START_POSITION=$VAR || exit 1 (code=exited, status=0/
Process: 427 ExecStart=/usr/sbin/mysqld $MYSQLD_OPTS $_WSREP_NEW_CLUSTER $_WSREP_START_POSITION (code=exited, status=7)
Main PID: 427 (code=exited, status=7)
Status: "MariaDB server is down"

Oct 11 08:59:22 nextcloud systemd[1]: Starting MariaDB 10.3.23 database server...
Oct 11 08:59:23 nextcloud mysqld[427]: 2020-10-11 8:59:23 0 [Note] /usr/sbin/mysqld (mysqld 10.3.23-MariaDB-0+deb10u1) starting as process 427 ...
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Main process exited, code=exited, status=7/NOTRUNNING
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Failed with result 'exit-code'.
Oct 11 08:59:26 nextcloud systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

----

* https://forum.proxmox.com/threads/31066/#post-261883 (https://forum.proxmox.com/threads/convert-privileged-to-unprivileged-container.31066/#post-261883)

Stoppen vom bisherigen Container, der geändert werden soll
: <code>pct stop 321</code>

(optionales) Erstellen von einem Snapshot vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Änderung den Container zurücksetzen zu können

(optionales) Erstellen von einer Datensicherung vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Wiederherstellung von einem Snapshot den Container wiederherstellen zu können

Ersrellen von einem zeitweisen Verzeichnis (in dem die Änderung abgearbeitet werden soll)
: <code>mkdir /tmp/321</code>

Einhängen vom Speicher vom bisherigen Container, der geändert werden soll, ohne den Container zu starten, um die Dateien ändern zu können (Der Ablageort - im Beispiel ''/dev/rbd/storage/vm-321-disk-0'' - muss ermittelt werden. Im Beispiel ist der [[#Proxmox Storage Content Container]] im [[#Proxmox Storage Type RDB]] ''storage'' abgelegt. Im Beispiel ist die ID von der [[#Erstellung von Instanzen der Containerisierung]] ''321''.)
: <code>mount -o loop /dev/rbd/storage/vm-321-disk-0 /tmp/321</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type f | while read S; do U="$(ls -ln "${S}" | awk '{print$3}')"; G="$(ls -ln "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type d | while read S; do U="$(ls -lnd "${S}" | awk '{print$3}')"; G="$(ls -lnd "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

Löschen von <code>/tmp/321/var/spool/postfix/dev/-random</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-random ] && rm -ri /tmp/321/var/spool/postfix/dev/-random</code>
Löschen von <code>/var/spool/postfix/dev/-urandom</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-urandom ] && rm -ri /tmp/321/var/spool/postfix/dev/-urandom</code>

wenn das Paket <code>sudo</code> installiert ist, Ändern vom Modus von der Datei <code>/usr/bin/sudo</code> beim bisherigen Container
: <code>[ -e /tmp/321/usr/bin/sudo ] && chmod u+s /tmp/321/usr/bin/sudo</code>

Aushängen vom Speicher vom bisherigen Container, der geändert wurde, um den Container geändert in Betrieb nehmen zu können
: <code>umount /tmp/321</code>

Änderung der
Achtung!
Das ist ein wenig spooky.
Einfach unten drunter schreiben?
Es gibt (auch) verschiedene Abschnitte für jeden Snapshot.
: <code>echo -e "\nunprivileged: 1" >> /etc/pve/lxc/321.conf</code>
:: <code>nano /etc/pve/lxc/321.conf</code>

Starten vom bisherigen Container, der geändert wurde
: <code>pct start 321</code>

(bei Problemen beim) Starten vom bisherigen Container, der geändert wurde, mit Aufzeichnung von möglichen Problemen
:: <code>pct start --debug=1 321</code>

=== Problembehebung bei der Containerisierung ===
: aka Troubleshooting pct

==== Probĺemerkennung bei der Containerisierung ====

Starten von einem Container (LXC) im Modus für die Fehlerbehehung
: <code>lxc-start -n <Containernummer> -F -l DEBUG</code>

==== Problem, dass ein Container lange nicht startet ====

; Problem zur (falschen) Konfiguration zur Verwendung von IPv6:
: Wenn versehentlich bei der Erstellung von einem Container bei ''Network'' was zu IPv6 (beispielsweise DHCP) konfiguriert und damit aktiviert wurde, dann wird beim Starten vom Container mehrere (etwa 5) Minuten versucht IPv6 zu verwenden. Leider gibt es in unserer Umgebung ([[Server HTW Dresden]]) kein IPv6.
: Das Problem lässt sich beheben in dem bei der Konfiguration bei <tt>IPv6</tt> die voreingestellte Option <tt>Static</tt> ausgewählt wird und Einträge zu IPv6 (beispielsweise bei <tt>IPv6/CIDR</tt>) bestehen.
: Im Übrigen kann dazu auch die Datei für die Konfiguration vom Container (beispielsweise mit der Nummer ''1337'') gesichtet und womöglich angepasst werden.
:: <code>less /etc/pve/lxc/1337.conf</code>
:: <code>nano /etc/pve/lxc/1337.conf</code>

=== unterschiedliche Container ===

==== Containerisierung für bestimmte Betriebssysteme ====

Ein [[{{PAGENAME}}]] bietet eine Vielzahl von üblichen Varianten an [[GNU/Linux|Linux]]: http://download.proxmox.com/images/system/

: <code>pveam update</code>
: <code>pveam available --section system</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-standard_10.5-1_amd64.tar.gz</code>

==== Containerisierung für nicht bestimmte Betriebssysteme ====

==== Containerisierung für [[NixOS]] ====

===== Erstellung von Instanzen der Containerisierung für [[NixOS]] =====

Aktuell (2020-03) gibt es keine für [[Server/Proxmox]] angebotene Vorlage für das Betriebssystem [[NixOS]].

* https://nixos.wiki/wiki/Proxmox_Linux_Container
* https://wiki.c3d2.de/Proxmox#Proxmox_CT_NixOS

Nachfolgend (2021-10) wurde sich damit dennoch weiter auseinandergesetzt, um zukünftig auch [[NixOS]] (mit der Vielzahl von Vorteilen) verwenden zu können. Seit 2021-10 wurde auch das PVE 7 verwendet, weswegen es zuvor vermieden wurde noch etwas für PVE 6 gangbar zu machen, was nachfolgend vielleicht nicht mehr funktioniert und viel Aufwand für die Überwindung von Hindernissen zur Nutzung und Weiternutzung entsteht.

* https://pro.stura.htw-dresden.de/issues/856
* https://nixos.wiki/wiki/Talk:Proxmox_Linux_Container

(2022-06) NixOS 22.05 wurde zunächst auf dem Testserver als Container installiert. Dabei muss man beachten, dass der Container nicht in der Web-GUI erstellt werden darf, sondern mittels folgendem Command:
<code>pct create $CTID$ cephfs:vztmpl/nixos-22.05.tar.xz --ostype unmanaged --net0 name=eth0,firewall=1,ip=dhcp,bridge=vmbr0 --storage $STORRAGE$ --unprivileged 1 --features nesting=1</code>
Dabei sollte natürlich $CTID$ durch eine im Proxmox noch freie Container-ID ersetzt werden und $STORRAGE$ durch den gewünschten speicherort für den neuen Container (der Container-Template Name kann sich auch ändern).

====== Besonderheiten Erstellung von Instanzen der Containerisierung für [[NixOS]] ======

; Options:
:; Console mode: <tt>console</tt> (statt <tt>Default (tty)</tt>)

===== Containerisierung für [[NixOS]] Aktualisierung =====

====== Containerisierung für [[NixOS]] Aktualisierung 21.11 ======

(optionales) Auflisten aller verfügbaren Kanäle (für Software) für [[NixOS]]
: <code>nix-channel --list | grep nixos</code>
<pre>
nixos https://nixos.org/channels/nixos-21.05
</pre>

Hinzufügen des neuen (nachfolgenden) Kanals (für Software) für [[NixOS]] (beispielhaft ''21.11'')

: <code>nix-channel --add https://nixos.org/channels/nixos-21.11 nixos</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
</pre>
<pre></pre>
<pre>
==================== Results ===================
No issues found.

==================== Summary ===================
Total issues:
Unspecified: 0
Low: 0
Medium: 0
High: 0
</pre>
<pre></pre>
<pre>
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
restarting systemd...
setting up tmpfiles
reloading the following units: dbus.service, dev-mqueue.mount, firewall.service, sys-fs-fuse-connections.mount
Job failed. See "journalctl -xe" for details.
restarting the following units: dhcpcd.service, network-addresses-eth0.service, nginx.service, systemd-journald.service
starting the following units: acme-fixperms.service, acme-pro.stura.htw-dresden.de.timer, network-local-commands.service, network-setup.service, nix-daemon.socket, nscd.service, resolvconf.service, systemd-sysctl.service, systemd-tmpfiles-clean.timer, systemd-tmpfiles-setup-dev.service
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
created 1 symlinks in user environment
building Nix...
building the system configuration...
activating the configuration...
setting up /etc...
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
setting up tmpfiles
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>mkdir /sbin/</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre></pre>

==== Containerisierung für bestimmte Anwendungen ====
==== Containerisierung für TurnKey ====

[[{{PAGENAME}}]] bietet verschiedene (übliche) Anwendungen als Container. Dazu werden vorbereitete Container von [[TurnKey]] ([[wikipedia:en:TurnKey Linux Virtual Appliance Library]]) verwendet. (Systeme von TurnKey verwenden auch (wie [[{{PAGENAME}}]] selbst [[Debian]] als Grundlage ([[Betriebssystem]].)

: <code>pveam update</code>
: <code>pveam available --section turnkeylinux</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-turnkey-core_16.0-1_amd64.tar.gz</code>

===== Containerisierung für TurnKey ab Version 16 =====

[[#Containerisierung mit Debian 10]]

===== Containerisierung für TurnKey bis Version 15 =====

Leider scheint (2020-02) für [[TurnKey]] die Möglichkeit für ''unprivileged LXC container'' nicht zu funktionieren.

Mit der Version 16, also auch dem Wechsel von Version 9 zu Version 10 bei [[Debian]] als Grundlage, scheint sich das geändert zu haben.

==== Containerisierung für Docker ====

Für den Betrieb von Instanzen mit Docker kann [[{{PAGENAME}}]], neben der dazu empfohlenen Technik der [[#Virtualisierung]], auch Container entsprechend konfigurieren. Dazu werden ''unprivileged LXC container'' erstellt und mit zusätzlichen Berechtigungen (auf das Gesamtsystem) ausgestattet, um die von Docker erforderlichen Funktionalitäten bereitstellen zu können.

* nicht privilegierter Container
*: Anscheinend kann Docker nur innerhalb von einem nicht privilegierten Container betreiben werden. (Eigentlich ist das ja sogar sehr schön, denn es erscheint schöner einen Container mit möglichst wenigen Privilegien (Berechtigungen) zu benutzen.)
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''keyctl''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch den [[wikipedia:de:Systemaufruf|Systemaufruf]] ''keyctl'' zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber als ''non-existent'' nicht gesehen, wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''keyctl'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch Zugriff auf <code>procfs</code> und <code>sysfs</code> zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber nicht zugelassen (nicht bereitgestellt), wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; [[#Virtualisierung]] als Alternative zur Containerisierung für Docker
* [[#Virtualisierung Debian]]
* [[#Virtualisierung RancherOS]]
* [[#Virtualisierung CoreOS]]

==== Containerisierung für Kubernetes ====

* https://kvaps.medium.com/run-kubernetes-in-lxc-container-f04aa94b6c9c
* https://gist.github.com/kvaps/25f730e0ec39dd2e5749fb6b020e71fc

==== Containerisierung mit Debian 10 ====

* Jede [[#Containerisierung für bestimmte Anwendungen]] (also mit [[TurnKey]]) ist eine [[#Containerisierung mit Debian 10]].

===== Containerisierung mit Debian 10 nesting =====

* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um bespielsweise MariaDB innerhalb von einem Container mit Debian 10 betreiben zu können, scheint Debian jedoch ein Problem mit AppAmor zu haben.[https://bugzilla.proxmox.com/show_bug.cgi?id=2281] Im Übrigen ist das bei sowohl nicht privilegierten Containern als auch privilegierten Containern. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; beispielhaftes Problem (ohne ''nesting''):
:; Umgebung:
:* (2020-09)
:* [[{{PAGENAME}}]] Version x.y
:* [[Server/Ghost#TurnKey auf Proxmox]] ([[#Containerisierung für TurnKey ab Version 16]])

Die Anwendung startet nicht.

Anzeigen vom Status (dem Problem) der Anwendung MariaDB
: <code>systemctl status mariadb.service</code>
<pre>
* mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Wed 2020-09-16 20:35:41 CEST; 23s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/

Sep 16 20:35:41 test-ghost systemd[1]: Starting MariaDB 10.3.23 database server...
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed to set up mount namespacin
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed at step NAMESPACE spawning
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Control process exited, code=exited,
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Failed with result 'exit-code'.
Sep 16 20:35:41 test-ghost systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

==== Containerisierung für Proxmox Mail Gateway ====

Ein [[{{PAGENAME}}]] bietet die [https://www.proxmox.com/de/proxmox-mail-gateway spezielle Anwendung für Mail von Proxmox]: http://download.proxmox.com/images/mail/

: <code>pveam update</code>
: <code>pveam available --section mail</code>

: <code>pveam download</code>
:: <code>pveam download cephfs proxmox-mailgateway-6.2-standard_6.2-1_amd64.tar.gz</code>

=== Sicherung und Wiederherstellung von Instanzen der Containerisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Containerisierung ====

==== Wiederherstellung von Instanzen der Containerisierung ====

===== Wiederherstellung von Instanzen der Containerisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Containerisierung über die Kommandozeile =====

Backups werden momentan (Version 5.2) in <code>/var/lib/vz/dump</code> gespeichert.

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP</code>

Für den Fall, dass es den vorherigen Storage nicht gibt, kann mit den Storage angeben:

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP -storage STORAGENAME</code>

== Virtualisierung ==

=== Konfiguration der Virtualisierung ===

==== Benutzung der Funktionalität der [[wikipedia:en:hardware-assisted virtualization|Unterstützung der Hardware zur Virtualisierung]] ====
https://pve.proxmox.com/wiki/Nested_Virtualization#Enable_Nested_Hardware-assisted_Virtualization

Standardmäßig benutzt [[{{PAGENAME}}]] nicht die Funktionalität der Unterstützung der Hardware zur Virtualisierung. Standardmäßig ist aber die Benutzung der Funktionalität möglich, wozu die Konfiguration von [[{{PAGENAME}}]] einfach geändert werden kann.

Es kann Gründe für und gegen die Benutzung der Funktionalität der Unterstützung der Hardware zur Virtualisierung geben.
; dagegen:
* Es ist nicht möglich eine Migration von Instanzen durch Virtualisierung im laufenden Betrieb vorzunehmen.
; dafür:
* Es ist eine höhere Leistungsfähigkeit bei Instanzen durch Virtualisierung gegeben.

=== Virtualisierung [[Debian]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung Debian]] genutzt wird.

Bei der Virtualisierung von Debian ab 2020 geht es ausschließlich um Debian (Version) 10 oder was tagesaktuell gerade ''stable'' ist und tagesaktuell die Basis für [[{{PAGENAME}}]] ist.

=== Virtualisierung [[CentOS]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung CentOS]] genutzt wird.

Bei der Virtualisierung von CentOS ab 2020 geht es ausschließlich um CentOS (Version) 8.

=== Virtualisierung [[OpenBSD]] ===

=== Virtualisierung [[FreeBSD]] ===

=== Virtualisierung [[CoreOS]] ===

=== Virtualisierung [[RancherOS]] ===

Der Betrieb von [[RancherOS]] kommt eigentlich nur in Frage, wenn wegen [[Docker]] eine Basis virtualisiert werden muss und die Vorteile gegenüber der [[#Virtualisierung Debian]] erkennbar gemacht werden können.

* https://rancher.com/docs/os/v1.x/en/installation/workstation/boot-from-iso/
* <s>https://rancher.com/docs/os/v1.x/en/installation/workstation/docker-machine/#using-docker-machine-with-proxmox-ve</s>

=== Sicherung und Wiederherstellung von Instanzen der Virtualisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Virtualisierung ====

==== Wiederherstellung von Instanzen der Virtualisierung ====

===== Wiederherstellung von Instanzen der Virtualisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Virtualisierung über die Kommandozeile =====

: <code> qmrestore VMACHINE_BACKUP NEW_VM_ID -storage STORAGENAME </code>

== Siehe auch ==

* [[Server/FreeNAS]]
* [[xora]]

[[Kategorie:Rechentechnik]]
[[Kategorie:GNU/Linux]]

Server/Proxmox Virtual Environment

2022-06-24T12:28:32Z

Goeranh: /* Erstellung von Instanzen der Containerisierung für NixOS */

== Administration ==

=== web user interface ===

==== Browser für das web user interface ====

Es kann nur zu Chromium (notfalls Chrome) geraten werden. Firefox scheint nicht (ideal) geeignet zu sein.

==== Erreichbarkeit vom web user interface ====

Standardmäßig ist das web user interface per https auf Port ''8006'' zu erreichen.[https://pve.proxmox.com/wiki/Ports]

=== sources.list ===

: Proxmox Version 6
: in Anlehnung an [https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Busterh#Adapt_your_sources.list Proxmox:Wiki ''Install Proxmox VE on Debian Buster#Adapt your sources.list'']

Wahrnehmen des Fehlers (401) bei Beziehen der Quelle ''enterprise.proxmox.com''
:: Für die Quelle ''enterprise.proxmox.com'' bedarf es Zugangsdaten (die entsprechend zu vergüten sind). Ohne Zugangsdaten wird der Code (für den Fehler) 401 (fehlerhafte Autorisierung) ausgeliefert.
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Hit:5 http://download.proxmox.com/debian/pve buster InRelease
Err:6 https://enterprise.proxmox.com/debian/pve buster InRelease
401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
Reading package lists... Done
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/buster/InRelease 401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
E: The repository 'https://enterprise.proxmox.com/debian/pve buster InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
</pre>
Anzeigen des Datei mit dem Eintrag für diese Quelle
: <code>cat /etc/apt/sources.list.d/pve-enterprise.list</code>
<pre>
deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
</pre>
Hinzufügen einer (vergleichbaren) alternativen Quelle ohne sich registrieren zu müssen
: <code>echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list</code>
: <code>wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg</code>
<pre></pre>
<pre>
Resolving download.proxmox.com (download.proxmox.com)... 2a01:7e0:0:424::249, 212.224.123.70
Connecting to download.proxmox.com (download.proxmox.com)|2a01:7e0:0:424::249|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1202 (1.2K) [application/octet-stream]
Saving to: '/etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg'

/etc/apt/trusted.gpg.d/proxmo 100%[===============================================>] 1.17K --.-KB/s in 0s
</pre>
<pre></pre>
: <code>cat /etc/apt/sources.list.d/pve-install-repo.list</code>
<pre>
deb http://download.proxmox.com/debian/pve buster pve-no-subscription
</pre>
: <code>mv /etc/apt/sources.list.d/pve-enterprise.list /root/pve-enterprise.list</code>
: <code>mv /etc/apt/sources.list.d/pve-install-repo.list /root/pve-install-repo.list</code>
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Reading package lists... Done
Building dependency tree
Reading state information... Done
10 packages can be upgraded. Run 'apt list --upgradable' to see them.
</pre>
: <code>apt upgrade</code>
<pre>
</pre>

----

: Proxmox Version 5
; versteckt:


=== ZFS ===

Bei {{PAGENAME}} gibt es keine direkte (integrierte) Verwaltung von ZFS. Es wird (größtenteils) verwendet wie alle anderen Dateisysteme. Auf der Kommandozeile geht aber alles.

==== Zurücksetzen der Konfiguration vom Betriebssystem auf einen vorherigen Schnappschuss von ZFS ====

Auch wenn es (seitens ZFS) möglich ist das Dateisystem "unter dem Arsch" vom Betriebssystem zurückzusetzen, so sei davon abgeraten, denn laufende Dienste können damit schlecht umgehen.

* möglichst alle relevanten Dienste stoppen
*: (Es ist leider unklar welche Dienste relevant sind.)
*: Anzeigen lassen aller laufender Dienste
*:: <code>systemctl list-units --type=service --state=running</code>
* ''zfs rollback''
* (möglichst unverzüglich) System neu starten lassen

== Proxmox Storage ==

=== Proxmox Storage Content ===

==== Proxmox Storage Content ''Disk image'' ====

==== Proxmox Storage Content ''ISO image'' ====

==== Proxmox Storage Content ''Container template'' ====

==== Proxmox Storage Content ''VZDump backup file'' ====

==== Proxmox Storage Content ''Container'' ====

==== Proxmox Storage Content ''Snippets'' ====

=== Proxmox Storage Type ===

==== Proxmox Storage Type ''Directory'' ====

==== Proxmox Storage Type ''LVM'' ====

==== Proxmox Storage Type ''LVM-thin'' ====

==== Proxmox Storage Type ''CephFS'' ====

: <code>ls /mnt/pve/</code>
<pre>
cephfs
</pre>

: <code>ls /mnt/pve/cephfs/</code>

==== Proxmox Storage Type ''RDB'' ====

<code>ls /dev/rbd/</code>
<pre>
storage
</pre>

<code>ls /dev/rbd/storage/</code>

==== Proxmox Storage Type ''ZFS'' ====

== Proxmox Ceph ==

[[c3d2:Proxmox#Proxmox Ceph]]

=== Ceph Dashboard ===
[[c3d2:Proxmox#Ceph Dashboard]]

== Containerisierung ==

Für die [[Proxmox Virtual Environment#Containerisierung|Containerisierung bei {{PAGENAME}}]] wird [[LXC]] verwendet.

Auflisten aller bereitgestellten Container
: <code>pveam available</code>

Bei [[{{PAGENAME}}]] wird nach [[#Container für bestimmte Betriebssysteme]] ''system'' (also ohne einen konkreten Zweck der Anwendung angedacht zu haben) und [[#Container für bestimmte Anwendungen]] ''turnkeylinux''. (Genau genommen gibt es noch ''mail'', für die [[#Containerisierung für Proxmox Mail Gateway]].)

=== Erstellung von Instanzen der Containerisierung ===

=== Konfiguration von Instanzen der Containerisierung ===

==== Änderung der Konfiguration von Instanzen der Containerisierung ====

===== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert =====

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch backup and restore ======

Test durchgeführt von goeranh -> Container und VMs können restored werden, indem man auf den Server(n1-3) klickt und dort auf den Storrage b1 -> aus dieser liste kann dann selbst ein gelöschter Container wiederhergestellt werden. Es wurde das Bedenken geäußert, dass VM-IDs kollidieren, wenn ein Container gelöscht wird, ein neuer erstellt und dann der alte Container wieder restored wird. In dieser Situation wird einfach eine neue ID vergeben.

Ungetestet!

* https://pve.proxmox.com/wiki/Unprivileged_LXC_containers#Creation

: <code>pct restore 321 /mnt/pve/cephfs/dump/vzdump-lxc-321-2020_10_11-00_14_05.tar.zst -ignore-unpack-errors 1 -unprivileged</code>

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch chown ======

Der Test (2020-10-10 -11) schlug fehl!
Der Test der Änderung fand bei einem Container nach der [[{{ns:100}}:Server/TurnKey#Aktualisierung von TurnKey 15 auf TurnKey 16]] ([[{{ns:100}}:Server/Nextcloud#TurnKey 15]]) statt.

----

; leidiges Ergebnis:

: <code>systemctl</code>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>

: <code>systemctl status mariadb.service</code>
<pre>
● mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Sun 2020-10-11 08:59:26 CEST; 47s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/
Process: 217 ExecStartPre=/usr/bin/install -m 755 -o mysql -g root -d /var/run/mysqld (code=exited, status=0/SUCCESS)
Process: 235 ExecStartPre=/bin/sh -c systemctl unset-environment _WSREP_START_POSITION (code=exited, status=0/SUCCESS)
Process: 247 ExecStartPre=/bin/sh -c [ ! -e /usr/bin/galera_recovery ] && VAR= || VAR=`cd /usr/bin/..; /usr/bin/galera_recovery`; [ $? -eq 0 ] && systemctl set-environment _WSREP_START_POSITION=$VAR || exit 1 (code=exited, status=0/
Process: 427 ExecStart=/usr/sbin/mysqld $MYSQLD_OPTS $_WSREP_NEW_CLUSTER $_WSREP_START_POSITION (code=exited, status=7)
Main PID: 427 (code=exited, status=7)
Status: "MariaDB server is down"

Oct 11 08:59:22 nextcloud systemd[1]: Starting MariaDB 10.3.23 database server...
Oct 11 08:59:23 nextcloud mysqld[427]: 2020-10-11 8:59:23 0 [Note] /usr/sbin/mysqld (mysqld 10.3.23-MariaDB-0+deb10u1) starting as process 427 ...
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Main process exited, code=exited, status=7/NOTRUNNING
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Failed with result 'exit-code'.
Oct 11 08:59:26 nextcloud systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

----

* https://forum.proxmox.com/threads/31066/#post-261883 (https://forum.proxmox.com/threads/convert-privileged-to-unprivileged-container.31066/#post-261883)

Stoppen vom bisherigen Container, der geändert werden soll
: <code>pct stop 321</code>

(optionales) Erstellen von einem Snapshot vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Änderung den Container zurücksetzen zu können

(optionales) Erstellen von einer Datensicherung vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Wiederherstellung von einem Snapshot den Container wiederherstellen zu können

Ersrellen von einem zeitweisen Verzeichnis (in dem die Änderung abgearbeitet werden soll)
: <code>mkdir /tmp/321</code>

Einhängen vom Speicher vom bisherigen Container, der geändert werden soll, ohne den Container zu starten, um die Dateien ändern zu können (Der Ablageort - im Beispiel ''/dev/rbd/storage/vm-321-disk-0'' - muss ermittelt werden. Im Beispiel ist der [[#Proxmox Storage Content Container]] im [[#Proxmox Storage Type RDB]] ''storage'' abgelegt. Im Beispiel ist die ID von der [[#Erstellung von Instanzen der Containerisierung]] ''321''.)
: <code>mount -o loop /dev/rbd/storage/vm-321-disk-0 /tmp/321</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type f | while read S; do U="$(ls -ln "${S}" | awk '{print$3}')"; G="$(ls -ln "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type d | while read S; do U="$(ls -lnd "${S}" | awk '{print$3}')"; G="$(ls -lnd "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

Löschen von <code>/tmp/321/var/spool/postfix/dev/-random</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-random ] && rm -ri /tmp/321/var/spool/postfix/dev/-random</code>
Löschen von <code>/var/spool/postfix/dev/-urandom</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-urandom ] && rm -ri /tmp/321/var/spool/postfix/dev/-urandom</code>

wenn das Paket <code>sudo</code> installiert ist, Ändern vom Modus von der Datei <code>/usr/bin/sudo</code> beim bisherigen Container
: <code>[ -e /tmp/321/usr/bin/sudo ] && chmod u+s /tmp/321/usr/bin/sudo</code>

Aushängen vom Speicher vom bisherigen Container, der geändert wurde, um den Container geändert in Betrieb nehmen zu können
: <code>umount /tmp/321</code>

Änderung der
Achtung!
Das ist ein wenig spooky.
Einfach unten drunter schreiben?
Es gibt (auch) verschiedene Abschnitte für jeden Snapshot.
: <code>echo -e "\nunprivileged: 1" >> /etc/pve/lxc/321.conf</code>
:: <code>nano /etc/pve/lxc/321.conf</code>

Starten vom bisherigen Container, der geändert wurde
: <code>pct start 321</code>

(bei Problemen beim) Starten vom bisherigen Container, der geändert wurde, mit Aufzeichnung von möglichen Problemen
:: <code>pct start --debug=1 321</code>

=== Problembehebung bei der Containerisierung ===
: aka Troubleshooting pct

==== Probĺemerkennung bei der Containerisierung ====

Starten von einem Container (LXC) im Modus für die Fehlerbehehung
: <code>lxc-start -n <Containernummer> -F -l DEBUG</code>

==== Problem, dass ein Container lange nicht startet ====

; Problem zur (falschen) Konfiguration zur Verwendung von IPv6:
: Wenn versehentlich bei der Erstellung von einem Container bei ''Network'' was zu IPv6 (beispielsweise DHCP) konfiguriert und damit aktiviert wurde, dann wird beim Starten vom Container mehrere (etwa 5) Minuten versucht IPv6 zu verwenden. Leider gibt es in unserer Umgebung ([[Server HTW Dresden]]) kein IPv6.
: Das Problem lässt sich beheben in dem bei der Konfiguration bei <tt>IPv6</tt> die voreingestellte Option <tt>Static</tt> ausgewählt wird und Einträge zu IPv6 (beispielsweise bei <tt>IPv6/CIDR</tt>) bestehen.
: Im Übrigen kann dazu auch die Datei für die Konfiguration vom Container (beispielsweise mit der Nummer ''1337'') gesichtet und womöglich angepasst werden.
:: <code>less /etc/pve/lxc/1337.conf</code>
:: <code>nano /etc/pve/lxc/1337.conf</code>

=== unterschiedliche Container ===

==== Containerisierung für bestimmte Betriebssysteme ====

Ein [[{{PAGENAME}}]] bietet eine Vielzahl von üblichen Varianten an [[GNU/Linux|Linux]]: http://download.proxmox.com/images/system/

: <code>pveam update</code>
: <code>pveam available --section system</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-standard_10.5-1_amd64.tar.gz</code>

==== Containerisierung für nicht bestimmte Betriebssysteme ====

==== Containerisierung für [[NixOS]] ====

===== Erstellung von Instanzen der Containerisierung für [[NixOS]] =====

Aktuell (2020-03) gibt es keine für [[Server/Proxmox]] angebotene Vorlage für das Betriebssystem [[NixOS]].

* https://nixos.wiki/wiki/Proxmox_Linux_Container
* https://wiki.c3d2.de/Proxmox#Proxmox_CT_NixOS

Nachfolgend (2021-10) wurde sich damit dennoch weiter auseinandergesetzt, um zukünftig auch [[NixOS]] (mit der Vielzahl von Vorteilen) verwenden zu können. Seit 2021-10 wurde auch das PVE 7 verwendet, weswegen es zuvor vermieden wurde noch etwas für PVE 6 gangbar zu machen, was nachfolgend vielleicht nicht mehr funktioniert und viel Aufwand für die Überwindung von Hindernissen zur Nutzung und Weiternutzung entsteht.

* https://pro.stura.htw-dresden.de/issues/856
* https://nixos.wiki/wiki/Talk:Proxmox_Linux_Container

(2022-06) NixOS 22.05 wurde zunächst auf dem Testserver als Container installiert. Dabei muss man beachten, dass der Container nicht in der Web-GUI erstellt werden darf, sondern mittels folgendem Command:
<code>pct create $CTID$ cephfs:vztmpl/nixos-22.05.tar.xz --ostype unmanaged --net0 name=eth0,firewall=1,ip=dhcp,bridge=vmbr0 --storage $STORRAGE$ --unprivileged 1 --features nesting=1</code>

====== Besonderheiten Erstellung von Instanzen der Containerisierung für [[NixOS]] ======

; Options:
:; Console mode: <tt>console</tt> (statt <tt>Default (tty)</tt>)

===== Containerisierung für [[NixOS]] Aktualisierung =====

====== Containerisierung für [[NixOS]] Aktualisierung 21.11 ======

(optionales) Auflisten aller verfügbaren Kanäle (für Software) für [[NixOS]]
: <code>nix-channel --list | grep nixos</code>
<pre>
nixos https://nixos.org/channels/nixos-21.05
</pre>

Hinzufügen des neuen (nachfolgenden) Kanals (für Software) für [[NixOS]] (beispielhaft ''21.11'')

: <code>nix-channel --add https://nixos.org/channels/nixos-21.11 nixos</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
</pre>
<pre></pre>
<pre>
==================== Results ===================
No issues found.

==================== Summary ===================
Total issues:
Unspecified: 0
Low: 0
Medium: 0
High: 0
</pre>
<pre></pre>
<pre>
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
restarting systemd...
setting up tmpfiles
reloading the following units: dbus.service, dev-mqueue.mount, firewall.service, sys-fs-fuse-connections.mount
Job failed. See "journalctl -xe" for details.
restarting the following units: dhcpcd.service, network-addresses-eth0.service, nginx.service, systemd-journald.service
starting the following units: acme-fixperms.service, acme-pro.stura.htw-dresden.de.timer, network-local-commands.service, network-setup.service, nix-daemon.socket, nscd.service, resolvconf.service, systemd-sysctl.service, systemd-tmpfiles-clean.timer, systemd-tmpfiles-setup-dev.service
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
created 1 symlinks in user environment
building Nix...
building the system configuration...
activating the configuration...
setting up /etc...
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
setting up tmpfiles
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>mkdir /sbin/</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre></pre>

==== Containerisierung für bestimmte Anwendungen ====
==== Containerisierung für TurnKey ====

[[{{PAGENAME}}]] bietet verschiedene (übliche) Anwendungen als Container. Dazu werden vorbereitete Container von [[TurnKey]] ([[wikipedia:en:TurnKey Linux Virtual Appliance Library]]) verwendet. (Systeme von TurnKey verwenden auch (wie [[{{PAGENAME}}]] selbst [[Debian]] als Grundlage ([[Betriebssystem]].)

: <code>pveam update</code>
: <code>pveam available --section turnkeylinux</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-turnkey-core_16.0-1_amd64.tar.gz</code>

===== Containerisierung für TurnKey ab Version 16 =====

[[#Containerisierung mit Debian 10]]

===== Containerisierung für TurnKey bis Version 15 =====

Leider scheint (2020-02) für [[TurnKey]] die Möglichkeit für ''unprivileged LXC container'' nicht zu funktionieren.

Mit der Version 16, also auch dem Wechsel von Version 9 zu Version 10 bei [[Debian]] als Grundlage, scheint sich das geändert zu haben.

==== Containerisierung für Docker ====

Für den Betrieb von Instanzen mit Docker kann [[{{PAGENAME}}]], neben der dazu empfohlenen Technik der [[#Virtualisierung]], auch Container entsprechend konfigurieren. Dazu werden ''unprivileged LXC container'' erstellt und mit zusätzlichen Berechtigungen (auf das Gesamtsystem) ausgestattet, um die von Docker erforderlichen Funktionalitäten bereitstellen zu können.

* nicht privilegierter Container
*: Anscheinend kann Docker nur innerhalb von einem nicht privilegierten Container betreiben werden. (Eigentlich ist das ja sogar sehr schön, denn es erscheint schöner einen Container mit möglichst wenigen Privilegien (Berechtigungen) zu benutzen.)
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''keyctl''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch den [[wikipedia:de:Systemaufruf|Systemaufruf]] ''keyctl'' zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber als ''non-existent'' nicht gesehen, wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''keyctl'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch Zugriff auf <code>procfs</code> und <code>sysfs</code> zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber nicht zugelassen (nicht bereitgestellt), wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; [[#Virtualisierung]] als Alternative zur Containerisierung für Docker
* [[#Virtualisierung Debian]]
* [[#Virtualisierung RancherOS]]
* [[#Virtualisierung CoreOS]]

==== Containerisierung für Kubernetes ====

* https://kvaps.medium.com/run-kubernetes-in-lxc-container-f04aa94b6c9c
* https://gist.github.com/kvaps/25f730e0ec39dd2e5749fb6b020e71fc

==== Containerisierung mit Debian 10 ====

* Jede [[#Containerisierung für bestimmte Anwendungen]] (also mit [[TurnKey]]) ist eine [[#Containerisierung mit Debian 10]].

===== Containerisierung mit Debian 10 nesting =====

* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um bespielsweise MariaDB innerhalb von einem Container mit Debian 10 betreiben zu können, scheint Debian jedoch ein Problem mit AppAmor zu haben.[https://bugzilla.proxmox.com/show_bug.cgi?id=2281] Im Übrigen ist das bei sowohl nicht privilegierten Containern als auch privilegierten Containern. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; beispielhaftes Problem (ohne ''nesting''):
:; Umgebung:
:* (2020-09)
:* [[{{PAGENAME}}]] Version x.y
:* [[Server/Ghost#TurnKey auf Proxmox]] ([[#Containerisierung für TurnKey ab Version 16]])

Die Anwendung startet nicht.

Anzeigen vom Status (dem Problem) der Anwendung MariaDB
: <code>systemctl status mariadb.service</code>
<pre>
* mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Wed 2020-09-16 20:35:41 CEST; 23s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/

Sep 16 20:35:41 test-ghost systemd[1]: Starting MariaDB 10.3.23 database server...
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed to set up mount namespacin
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed at step NAMESPACE spawning
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Control process exited, code=exited,
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Failed with result 'exit-code'.
Sep 16 20:35:41 test-ghost systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

==== Containerisierung für Proxmox Mail Gateway ====

Ein [[{{PAGENAME}}]] bietet die [https://www.proxmox.com/de/proxmox-mail-gateway spezielle Anwendung für Mail von Proxmox]: http://download.proxmox.com/images/mail/

: <code>pveam update</code>
: <code>pveam available --section mail</code>

: <code>pveam download</code>
:: <code>pveam download cephfs proxmox-mailgateway-6.2-standard_6.2-1_amd64.tar.gz</code>

=== Sicherung und Wiederherstellung von Instanzen der Containerisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Containerisierung ====

==== Wiederherstellung von Instanzen der Containerisierung ====

===== Wiederherstellung von Instanzen der Containerisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Containerisierung über die Kommandozeile =====

Backups werden momentan (Version 5.2) in <code>/var/lib/vz/dump</code> gespeichert.

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP</code>

Für den Fall, dass es den vorherigen Storage nicht gibt, kann mit den Storage angeben:

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP -storage STORAGENAME</code>

== Virtualisierung ==

=== Konfiguration der Virtualisierung ===

==== Benutzung der Funktionalität der [[wikipedia:en:hardware-assisted virtualization|Unterstützung der Hardware zur Virtualisierung]] ====
https://pve.proxmox.com/wiki/Nested_Virtualization#Enable_Nested_Hardware-assisted_Virtualization

Standardmäßig benutzt [[{{PAGENAME}}]] nicht die Funktionalität der Unterstützung der Hardware zur Virtualisierung. Standardmäßig ist aber die Benutzung der Funktionalität möglich, wozu die Konfiguration von [[{{PAGENAME}}]] einfach geändert werden kann.

Es kann Gründe für und gegen die Benutzung der Funktionalität der Unterstützung der Hardware zur Virtualisierung geben.
; dagegen:
* Es ist nicht möglich eine Migration von Instanzen durch Virtualisierung im laufenden Betrieb vorzunehmen.
; dafür:
* Es ist eine höhere Leistungsfähigkeit bei Instanzen durch Virtualisierung gegeben.

=== Virtualisierung [[Debian]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung Debian]] genutzt wird.

Bei der Virtualisierung von Debian ab 2020 geht es ausschließlich um Debian (Version) 10 oder was tagesaktuell gerade ''stable'' ist und tagesaktuell die Basis für [[{{PAGENAME}}]] ist.

=== Virtualisierung [[CentOS]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung CentOS]] genutzt wird.

Bei der Virtualisierung von CentOS ab 2020 geht es ausschließlich um CentOS (Version) 8.

=== Virtualisierung [[OpenBSD]] ===

=== Virtualisierung [[FreeBSD]] ===

=== Virtualisierung [[CoreOS]] ===

=== Virtualisierung [[RancherOS]] ===

Der Betrieb von [[RancherOS]] kommt eigentlich nur in Frage, wenn wegen [[Docker]] eine Basis virtualisiert werden muss und die Vorteile gegenüber der [[#Virtualisierung Debian]] erkennbar gemacht werden können.

* https://rancher.com/docs/os/v1.x/en/installation/workstation/boot-from-iso/
* <s>https://rancher.com/docs/os/v1.x/en/installation/workstation/docker-machine/#using-docker-machine-with-proxmox-ve</s>

=== Sicherung und Wiederherstellung von Instanzen der Virtualisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Virtualisierung ====

==== Wiederherstellung von Instanzen der Virtualisierung ====

===== Wiederherstellung von Instanzen der Virtualisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Virtualisierung über die Kommandozeile =====

: <code> qmrestore VMACHINE_BACKUP NEW_VM_ID -storage STORAGENAME </code>

== Siehe auch ==

* [[Server/FreeNAS]]
* [[xora]]

[[Kategorie:Rechentechnik]]
[[Kategorie:GNU/Linux]]

Server/Proxmox Virtual Environment

2022-06-03T18:15:02Z

Goeranh: /* Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch backup and restore */

== Administration ==

=== web user interface ===

==== Browser für das web user interface ====

Es kann nur zu Chromium (notfalls Chrome) geraten werden. Firefox scheint nicht (ideal) geeignet zu sein.

==== Erreichbarkeit vom web user interface ====

Standardmäßig ist das web user interface per https auf Port ''8006'' zu erreichen.[https://pve.proxmox.com/wiki/Ports]

=== sources.list ===

: Proxmox Version 6
: in Anlehnung an [https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Busterh#Adapt_your_sources.list Proxmox:Wiki ''Install Proxmox VE on Debian Buster#Adapt your sources.list'']

Wahrnehmen des Fehlers (401) bei Beziehen der Quelle ''enterprise.proxmox.com''
:: Für die Quelle ''enterprise.proxmox.com'' bedarf es Zugangsdaten (die entsprechend zu vergüten sind). Ohne Zugangsdaten wird der Code (für den Fehler) 401 (fehlerhafte Autorisierung) ausgeliefert.
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Hit:5 http://download.proxmox.com/debian/pve buster InRelease
Err:6 https://enterprise.proxmox.com/debian/pve buster InRelease
401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
Reading package lists... Done
E: Failed to fetch https://enterprise.proxmox.com/debian/pve/dists/buster/InRelease 401 Unauthorized [IP: 2a01:7e0:0:424::249 443]
E: The repository 'https://enterprise.proxmox.com/debian/pve buster InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
</pre>
Anzeigen des Datei mit dem Eintrag für diese Quelle
: <code>cat /etc/apt/sources.list.d/pve-enterprise.list</code>
<pre>
deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
</pre>
Hinzufügen einer (vergleichbaren) alternativen Quelle ohne sich registrieren zu müssen
: <code>echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list</code>
: <code>wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg</code>
<pre></pre>
<pre>
Resolving download.proxmox.com (download.proxmox.com)... 2a01:7e0:0:424::249, 212.224.123.70
Connecting to download.proxmox.com (download.proxmox.com)|2a01:7e0:0:424::249|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1202 (1.2K) [application/octet-stream]
Saving to: '/etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg'

/etc/apt/trusted.gpg.d/proxmo 100%[===============================================>] 1.17K --.-KB/s in 0s
</pre>
<pre></pre>
: <code>cat /etc/apt/sources.list.d/pve-install-repo.list</code>
<pre>
deb http://download.proxmox.com/debian/pve buster pve-no-subscription
</pre>
: <code>mv /etc/apt/sources.list.d/pve-enterprise.list /root/pve-enterprise.list</code>
: <code>mv /etc/apt/sources.list.d/pve-install-repo.list /root/pve-install-repo.list</code>
: <code>apt update</code>
<pre>
Hit:1 http://security.debian.org/debian-security buster/updates InRelease
Hit:2 http://deb.debian.org/debian buster InRelease
Hit:3 http://deb.debian.org/debian buster-updates InRelease
Hit:4 http://download.proxmox.com/debian/ceph-nautilus buster InRelease
Reading package lists... Done
Building dependency tree
Reading state information... Done
10 packages can be upgraded. Run 'apt list --upgradable' to see them.
</pre>
: <code>apt upgrade</code>
<pre>
</pre>

----

: Proxmox Version 5
; versteckt:


=== ZFS ===

Bei {{PAGENAME}} gibt es keine direkte (integrierte) Verwaltung von ZFS. Es wird (größtenteils) verwendet wie alle anderen Dateisysteme. Auf der Kommandozeile geht aber alles.

==== Zurücksetzen der Konfiguration vom Betriebssystem auf einen vorherigen Schnappschuss von ZFS ====

Auch wenn es (seitens ZFS) möglich ist das Dateisystem "unter dem Arsch" vom Betriebssystem zurückzusetzen, so sei davon abgeraten, denn laufende Dienste können damit schlecht umgehen.

* möglichst alle relevanten Dienste stoppen
*: (Es ist leider unklar welche Dienste relevant sind.)
*: Anzeigen lassen aller laufender Dienste
*:: <code>systemctl list-units --type=service --state=running</code>
* ''zfs rollback''
* (möglichst unverzüglich) System neu starten lassen

== Proxmox Storage ==

=== Proxmox Storage Content ===

==== Proxmox Storage Content ''Disk image'' ====

==== Proxmox Storage Content ''ISO image'' ====

==== Proxmox Storage Content ''Container template'' ====

==== Proxmox Storage Content ''VZDump backup file'' ====

==== Proxmox Storage Content ''Container'' ====

==== Proxmox Storage Content ''Snippets'' ====

=== Proxmox Storage Type ===

==== Proxmox Storage Type ''Directory'' ====

==== Proxmox Storage Type ''LVM'' ====

==== Proxmox Storage Type ''LVM-thin'' ====

==== Proxmox Storage Type ''CephFS'' ====

: <code>ls /mnt/pve/</code>
<pre>
cephfs
</pre>

: <code>ls /mnt/pve/cephfs/</code>

==== Proxmox Storage Type ''RDB'' ====

<code>ls /dev/rbd/</code>
<pre>
storage
</pre>

<code>ls /dev/rbd/storage/</code>

==== Proxmox Storage Type ''ZFS'' ====

== Proxmox Ceph ==

[[c3d2:Proxmox#Proxmox Ceph]]

=== Ceph Dashboard ===
[[c3d2:Proxmox#Ceph Dashboard]]

== Containerisierung ==

Für die [[Proxmox Virtual Environment#Containerisierung|Containerisierung bei {{PAGENAME}}]] wird [[LXC]] verwendet.

Auflisten aller bereitgestellten Container
: <code>pveam available</code>

Bei [[{{PAGENAME}}]] wird nach [[#Container für bestimmte Betriebssysteme]] ''system'' (also ohne einen konkreten Zweck der Anwendung angedacht zu haben) und [[#Container für bestimmte Anwendungen]] ''turnkeylinux''. (Genau genommen gibt es noch ''mail'', für die [[#Containerisierung für Proxmox Mail Gateway]].)

=== Erstellung von Instanzen der Containerisierung ===

=== Konfiguration von Instanzen der Containerisierung ===

==== Änderung der Konfiguration von Instanzen der Containerisierung ====

===== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert =====

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch backup and restore ======

Test durchgeführt von goeranh -> Container und VMs können restored werden, indem man auf den Server(n1-3) klickt und dort auf den Storrage b1 -> aus dieser liste kann dann selbst ein gelöschter Container wiederhergestellt werden. Es wurde das Bedenken geäußert, dass VM-IDs kollidieren, wenn ein Container gelöscht wird, ein neuer erstellt und dann der alte Container wieder restored wird. In dieser Situation wird einfach eine neue ID vergeben.

Ungetestet!

* https://pve.proxmox.com/wiki/Unprivileged_LXC_containers#Creation

: <code>pct restore 321 /mnt/pve/cephfs/dump/vzdump-lxc-321-2020_10_11-00_14_05.tar.zst -ignore-unpack-errors 1 -unprivileged</code>

====== Änderung der Konfiguration von Instanzen der Containerisierung von privilegiert zu unprivilegiert durch chown ======

Der Test (2020-10-10 -11) schlug fehl!
Der Test der Änderung fand bei einem Container nach der [[{{ns:100}}:Server/TurnKey#Aktualisierung von TurnKey 15 auf TurnKey 16]] ([[{{ns:100}}:Server/Nextcloud#TurnKey 15]]) statt.

----

; leidiges Ergebnis:

: <code>systemctl</code>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● systemd-update-utmp.service loaded failed failed Update UTMP about System Boot/Shutdown
</pre>
<pre></pre>
<pre>
● systemd-journald-audit.socket loaded failed failed Journal Audit Socket
</pre>
<pre></pre>
<pre>
● sys-kernel-config.mount loaded failed failed Kernel Configuration File System
● sys-kernel-debug.mount loaded failed failed Kernel Debug File System
</pre>
<pre></pre>
<pre>
● mariadb.service loaded failed failed MariaDB 10.3.23 database server
</pre>
<pre></pre>

: <code>systemctl status mariadb.service</code>
<pre>
● mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Sun 2020-10-11 08:59:26 CEST; 47s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/
Process: 217 ExecStartPre=/usr/bin/install -m 755 -o mysql -g root -d /var/run/mysqld (code=exited, status=0/SUCCESS)
Process: 235 ExecStartPre=/bin/sh -c systemctl unset-environment _WSREP_START_POSITION (code=exited, status=0/SUCCESS)
Process: 247 ExecStartPre=/bin/sh -c [ ! -e /usr/bin/galera_recovery ] && VAR= || VAR=`cd /usr/bin/..; /usr/bin/galera_recovery`; [ $? -eq 0 ] && systemctl set-environment _WSREP_START_POSITION=$VAR || exit 1 (code=exited, status=0/
Process: 427 ExecStart=/usr/sbin/mysqld $MYSQLD_OPTS $_WSREP_NEW_CLUSTER $_WSREP_START_POSITION (code=exited, status=7)
Main PID: 427 (code=exited, status=7)
Status: "MariaDB server is down"

Oct 11 08:59:22 nextcloud systemd[1]: Starting MariaDB 10.3.23 database server...
Oct 11 08:59:23 nextcloud mysqld[427]: 2020-10-11 8:59:23 0 [Note] /usr/sbin/mysqld (mysqld 10.3.23-MariaDB-0+deb10u1) starting as process 427 ...
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Main process exited, code=exited, status=7/NOTRUNNING
Oct 11 08:59:26 nextcloud systemd[1]: mariadb.service: Failed with result 'exit-code'.
Oct 11 08:59:26 nextcloud systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

----

* https://forum.proxmox.com/threads/31066/#post-261883 (https://forum.proxmox.com/threads/convert-privileged-to-unprivileged-container.31066/#post-261883)

Stoppen vom bisherigen Container, der geändert werden soll
: <code>pct stop 321</code>

(optionales) Erstellen von einem Snapshot vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Änderung den Container zurücksetzen zu können

(optionales) Erstellen von einer Datensicherung vom bisherigen Container, der geändert werden soll, um im Fall von eines Fehlschlages der Wiederherstellung von einem Snapshot den Container wiederherstellen zu können

Ersrellen von einem zeitweisen Verzeichnis (in dem die Änderung abgearbeitet werden soll)
: <code>mkdir /tmp/321</code>

Einhängen vom Speicher vom bisherigen Container, der geändert werden soll, ohne den Container zu starten, um die Dateien ändern zu können (Der Ablageort - im Beispiel ''/dev/rbd/storage/vm-321-disk-0'' - muss ermittelt werden. Im Beispiel ist der [[#Proxmox Storage Content Container]] im [[#Proxmox Storage Type RDB]] ''storage'' abgelegt. Im Beispiel ist die ID von der [[#Erstellung von Instanzen der Containerisierung]] ''321''.)
: <code>mount -o loop /dev/rbd/storage/vm-321-disk-0 /tmp/321</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type f | while read S; do U="$(ls -ln "${S}" | awk '{print$3}')"; G="$(ls -ln "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

(massenhaftes) Ändern vom Recht fürs Eigentum von Dateien beim bisherigen Container
Achtung!
Die Ausführung dauert über 1 Stunde!
: <code>find /tmp/321 -type d | while read S; do U="$(ls -lnd "${S}" | awk '{print$3}')"; G="$(ls -lnd "${S}" | awk '{print$4}')"; F=100000; chown "${F:0: -${#U}}${U}:${F:0: -${#G}}${G}" "${S}"; done</code>

Löschen von <code>/tmp/321/var/spool/postfix/dev/-random</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-random ] && rm -ri /tmp/321/var/spool/postfix/dev/-random</code>
Löschen von <code>/var/spool/postfix/dev/-urandom</code> beim bisherigen Container
: <code>[ -e /tmp/321/var/spool/postfix/dev/-urandom ] && rm -ri /tmp/321/var/spool/postfix/dev/-urandom</code>

wenn das Paket <code>sudo</code> installiert ist, Ändern vom Modus von der Datei <code>/usr/bin/sudo</code> beim bisherigen Container
: <code>[ -e /tmp/321/usr/bin/sudo ] && chmod u+s /tmp/321/usr/bin/sudo</code>

Aushängen vom Speicher vom bisherigen Container, der geändert wurde, um den Container geändert in Betrieb nehmen zu können
: <code>umount /tmp/321</code>

Änderung der
Achtung!
Das ist ein wenig spooky.
Einfach unten drunter schreiben?
Es gibt (auch) verschiedene Abschnitte für jeden Snapshot.
: <code>echo -e "\nunprivileged: 1" >> /etc/pve/lxc/321.conf</code>
:: <code>nano /etc/pve/lxc/321.conf</code>

Starten vom bisherigen Container, der geändert wurde
: <code>pct start 321</code>

(bei Problemen beim) Starten vom bisherigen Container, der geändert wurde, mit Aufzeichnung von möglichen Problemen
:: <code>pct start --debug=1 321</code>

=== Problembehebung bei der Containerisierung ===
: aka Troubleshooting pct

==== Probĺemerkennung bei der Containerisierung ====

Starten von einem Container (LXC) im Modus für die Fehlerbehehung
: <code>lxc-start -n <Containernummer> -F -l DEBUG</code>

==== Problem, dass ein Container lange nicht startet ====

; Problem zur (falschen) Konfiguration zur Verwendung von IPv6:
: Wenn versehentlich bei der Erstellung von einem Container bei ''Network'' was zu IPv6 (beispielsweise DHCP) konfiguriert und damit aktiviert wurde, dann wird beim Starten vom Container mehrere (etwa 5) Minuten versucht IPv6 zu verwenden. Leider gibt es in unserer Umgebung ([[Server HTW Dresden]]) kein IPv6.
: Das Problem lässt sich beheben in dem bei der Konfiguration bei <tt>IPv6</tt> die voreingestellte Option <tt>Static</tt> ausgewählt wird und Einträge zu IPv6 (beispielsweise bei <tt>IPv6/CIDR</tt>) bestehen.
: Im Übrigen kann dazu auch die Datei für die Konfiguration vom Container (beispielsweise mit der Nummer ''1337'') gesichtet und womöglich angepasst werden.
:: <code>less /etc/pve/lxc/1337.conf</code>
:: <code>nano /etc/pve/lxc/1337.conf</code>

=== unterschiedliche Container ===

==== Containerisierung für bestimmte Betriebssysteme ====

Ein [[{{PAGENAME}}]] bietet eine Vielzahl von üblichen Varianten an [[GNU/Linux|Linux]]: http://download.proxmox.com/images/system/

: <code>pveam update</code>
: <code>pveam available --section system</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-standard_10.5-1_amd64.tar.gz</code>

==== Containerisierung für nicht bestimmte Betriebssysteme ====

==== Containerisierung für [[NixOS]] ====

===== Erstellung von Instanzen der Containerisierung für [[NixOS]] =====

Aktuell (2020-03) gibt es keine für [[Server/Proxmox]] angebotene Vorlage für das Betriebssystem [[NixOS]].

* https://nixos.wiki/wiki/Proxmox_Linux_Container
* https://wiki.c3d2.de/Proxmox#Proxmox_CT_NixOS

Nachfolgend (2021-10) wurde sich damit dennoch weiter auseinandergesetzt, um zukünftig auch [[NixOS]] (mit der Vielzahl von Vorteilen) verwenden zu können. Seit 2021-10 wurde auch das PVE 7 verwendet, weswegen es zuvor vermieden wurde noch etwas für PVE 6 gangbar zu machen, was nachfolgend vielleicht nicht mehr funktioniert und viel Aufwand für die Überwindung von Hindernissen zur Nutzung und Weiternutzung entsteht.

* https://pro.stura.htw-dresden.de/issues/856
* https://nixos.wiki/wiki/Talk:Proxmox_Linux_Container

====== Besonderheiten Erstellung von Instanzen der Containerisierung für [[NixOS]] ======

; Options:
:; Console mode: <tt>console</tt> (statt <tt>Default (tty)</tt>)

===== Containerisierung für [[NixOS]] Aktualisierung =====

====== Containerisierung für [[NixOS]] Aktualisierung 21.11 ======

(optionales) Auflisten aller verfügbaren Kanäle (für Software) für [[NixOS]]
: <code>nix-channel --list | grep nixos</code>
<pre>
nixos https://nixos.org/channels/nixos-21.05
</pre>

Hinzufügen des neuen (nachfolgenden) Kanals (für Software) für [[NixOS]] (beispielhaft ''21.11'')

: <code>nix-channel --add https://nixos.org/channels/nixos-21.11 nixos</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
</pre>
<pre></pre>
<pre>
==================== Results ===================
No issues found.

==================== Summary ===================
Total issues:
Unspecified: 0
Low: 0
Medium: 0
High: 0
</pre>
<pre></pre>
<pre>
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
restarting systemd...
setting up tmpfiles
reloading the following units: dbus.service, dev-mqueue.mount, firewall.service, sys-fs-fuse-connections.mount
Job failed. See "journalctl -xe" for details.
restarting the following units: dhcpcd.service, network-addresses-eth0.service, nginx.service, systemd-journald.service
starting the following units: acme-fixperms.service, acme-pro.stura.htw-dresden.de.timer, network-local-commands.service, network-setup.service, nix-daemon.socket, nscd.service, resolvconf.service, systemd-sysctl.service, systemd-tmpfiles-clean.timer, systemd-tmpfiles-setup-dev.service
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>nixos-rebuild switch --upgrade</code>
<pre>
unpacking channels...
created 1 symlinks in user environment
building Nix...
building the system configuration...
activating the configuration...
setting up /etc...
ln: failed to create symbolic link '/sbin/init': No such file or directory
Activation script snippet 'installInitScript' failed (1)
setting up tmpfiles
warning: error(s) occurred while switching to the new configuration
</pre>

: <code>mkdir /sbin/</code>

: <code>nixos-rebuild switch --upgrade</code>
<pre></pre>

==== Containerisierung für bestimmte Anwendungen ====
==== Containerisierung für TurnKey ====

[[{{PAGENAME}}]] bietet verschiedene (übliche) Anwendungen als Container. Dazu werden vorbereitete Container von [[TurnKey]] ([[wikipedia:en:TurnKey Linux Virtual Appliance Library]]) verwendet. (Systeme von TurnKey verwenden auch (wie [[{{PAGENAME}}]] selbst [[Debian]] als Grundlage ([[Betriebssystem]].)

: <code>pveam update</code>
: <code>pveam available --section turnkeylinux</code>

: <code>pveam download</code>
:: <code>pveam download cephfs debian-10-turnkey-core_16.0-1_amd64.tar.gz</code>

===== Containerisierung für TurnKey ab Version 16 =====

[[#Containerisierung mit Debian 10]]

===== Containerisierung für TurnKey bis Version 15 =====

Leider scheint (2020-02) für [[TurnKey]] die Möglichkeit für ''unprivileged LXC container'' nicht zu funktionieren.

Mit der Version 16, also auch dem Wechsel von Version 9 zu Version 10 bei [[Debian]] als Grundlage, scheint sich das geändert zu haben.

==== Containerisierung für Docker ====

Für den Betrieb von Instanzen mit Docker kann [[{{PAGENAME}}]], neben der dazu empfohlenen Technik der [[#Virtualisierung]], auch Container entsprechend konfigurieren. Dazu werden ''unprivileged LXC container'' erstellt und mit zusätzlichen Berechtigungen (auf das Gesamtsystem) ausgestattet, um die von Docker erforderlichen Funktionalitäten bereitstellen zu können.

* nicht privilegierter Container
*: Anscheinend kann Docker nur innerhalb von einem nicht privilegierten Container betreiben werden. (Eigentlich ist das ja sogar sehr schön, denn es erscheint schöner einen Container mit möglichst wenigen Privilegien (Berechtigungen) zu benutzen.)
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''keyctl''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch den [[wikipedia:de:Systemaufruf|Systemaufruf]] ''keyctl'' zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber als ''non-existent'' nicht gesehen, wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''keyctl'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.
* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um Docker innerhalb von einem Container betreiben zu können, scheint Docker jedoch Zugriff auf <code>procfs</code> und <code>sysfs</code> zu benötigen. In einem standardmäßigen nicht privilegierten Container wird dieser aber nicht zugelassen (nicht bereitgestellt), wodurch Docker nicht richtig funktionieren kann. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen nicht privilegierten Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; [[#Virtualisierung]] als Alternative zur Containerisierung für Docker
* [[#Virtualisierung Debian]]
* [[#Virtualisierung RancherOS]]
* [[#Virtualisierung CoreOS]]

==== Containerisierung für Kubernetes ====

* https://kvaps.medium.com/run-kubernetes-in-lxc-container-f04aa94b6c9c
* https://gist.github.com/kvaps/25f730e0ec39dd2e5749fb6b020e71fc

==== Containerisierung mit Debian 10 ====

* Jede [[#Containerisierung für bestimmte Anwendungen]] (also mit [[TurnKey]]) ist eine [[#Containerisierung mit Debian 10]].

===== Containerisierung mit Debian 10 nesting =====

* Einschalten der [https://pve.proxmox.com/wiki/Linux_Container#pct_options Funktionalität (für Container bei [[{{PAGENAME}}]])] ''nesting''
*: Um bespielsweise MariaDB innerhalb von einem Container mit Debian 10 betreiben zu können, scheint Debian jedoch ein Problem mit AppAmor zu haben.[https://bugzilla.proxmox.com/show_bug.cgi?id=2281] Im Übrigen ist das bei sowohl nicht privilegierten Containern als auch privilegierten Containern. Mit dem Einschalten der standardmäßigen Option ''nesting'' für einen Container bei [[{{PAGENAME}}]] kann das Problem behoben werden.

; beispielhaftes Problem (ohne ''nesting''):
:; Umgebung:
:* (2020-09)
:* [[{{PAGENAME}}]] Version x.y
:* [[Server/Ghost#TurnKey auf Proxmox]] ([[#Containerisierung für TurnKey ab Version 16]])

Die Anwendung startet nicht.

Anzeigen vom Status (dem Problem) der Anwendung MariaDB
: <code>systemctl status mariadb.service</code>
<pre>
* mariadb.service - MariaDB 10.3.23 database server
Loaded: loaded (/lib/systemd/system/mariadb.service; enabled; vendor preset: enabled)
Active: failed (Result: exit-code) since Wed 2020-09-16 20:35:41 CEST; 23s ago
Docs: man:mysqld(8)
https://mariadb.com/kb/en/library/systemd/

Sep 16 20:35:41 test-ghost systemd[1]: Starting MariaDB 10.3.23 database server...
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed to set up mount namespacin
Sep 16 20:35:41 test-ghost systemd[17751]: mariadb.service: Failed at step NAMESPACE spawning
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Control process exited, code=exited,
Sep 16 20:35:41 test-ghost systemd[1]: mariadb.service: Failed with result 'exit-code'.
Sep 16 20:35:41 test-ghost systemd[1]: Failed to start MariaDB 10.3.23 database server.
</pre>

==== Containerisierung für Proxmox Mail Gateway ====

Ein [[{{PAGENAME}}]] bietet die [https://www.proxmox.com/de/proxmox-mail-gateway spezielle Anwendung für Mail von Proxmox]: http://download.proxmox.com/images/mail/

: <code>pveam update</code>
: <code>pveam available --section mail</code>

: <code>pveam download</code>
:: <code>pveam download cephfs proxmox-mailgateway-6.2-standard_6.2-1_amd64.tar.gz</code>

=== Sicherung und Wiederherstellung von Instanzen der Containerisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Containerisierung ====

==== Wiederherstellung von Instanzen der Containerisierung ====

===== Wiederherstellung von Instanzen der Containerisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Containerisierung über die Kommandozeile =====

Backups werden momentan (Version 5.2) in <code>/var/lib/vz/dump</code> gespeichert.

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP</code>

Für den Fall, dass es den vorherigen Storage nicht gibt, kann mit den Storage angeben:

: <code>pct restore NEW_CONTAINER_ID CONTAINER_BACKUP -storage STORAGENAME</code>

== Virtualisierung ==

=== Konfiguration der Virtualisierung ===

==== Benutzung der Funktionalität der [[wikipedia:en:hardware-assisted virtualization|Unterstützung der Hardware zur Virtualisierung]] ====
https://pve.proxmox.com/wiki/Nested_Virtualization#Enable_Nested_Hardware-assisted_Virtualization

Standardmäßig benutzt [[{{PAGENAME}}]] nicht die Funktionalität der Unterstützung der Hardware zur Virtualisierung. Standardmäßig ist aber die Benutzung der Funktionalität möglich, wozu die Konfiguration von [[{{PAGENAME}}]] einfach geändert werden kann.

Es kann Gründe für und gegen die Benutzung der Funktionalität der Unterstützung der Hardware zur Virtualisierung geben.
; dagegen:
* Es ist nicht möglich eine Migration von Instanzen durch Virtualisierung im laufenden Betrieb vorzunehmen.
; dafür:
* Es ist eine höhere Leistungsfähigkeit bei Instanzen durch Virtualisierung gegeben.

=== Virtualisierung [[Debian]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung Debian]] genutzt wird.

Bei der Virtualisierung von Debian ab 2020 geht es ausschließlich um Debian (Version) 10 oder was tagesaktuell gerade ''stable'' ist und tagesaktuell die Basis für [[{{PAGENAME}}]] ist.

=== Virtualisierung [[CentOS]] ===

Es sollte einen unabdingbaren Grund geben warum nicht die [[#Containerisierung CentOS]] genutzt wird.

Bei der Virtualisierung von CentOS ab 2020 geht es ausschließlich um CentOS (Version) 8.

=== Virtualisierung [[OpenBSD]] ===

=== Virtualisierung [[FreeBSD]] ===

=== Virtualisierung [[CoreOS]] ===

=== Virtualisierung [[RancherOS]] ===

Der Betrieb von [[RancherOS]] kommt eigentlich nur in Frage, wenn wegen [[Docker]] eine Basis virtualisiert werden muss und die Vorteile gegenüber der [[#Virtualisierung Debian]] erkennbar gemacht werden können.

* https://rancher.com/docs/os/v1.x/en/installation/workstation/boot-from-iso/
* <s>https://rancher.com/docs/os/v1.x/en/installation/workstation/docker-machine/#using-docker-machine-with-proxmox-ve</s>

=== Sicherung und Wiederherstellung von Instanzen der Virtualisierung ===

[https://pve.proxmox.com/wiki/Backup_and_Restore#vzdump_restore Proxmox Wiki]

==== Sicherung von Instanzen der Virtualisierung ====

==== Wiederherstellung von Instanzen der Virtualisierung ====

===== Wiederherstellung von Instanzen der Virtualisierung über die grafische Oberfläche =====

===== Wiederherstellung von Instanzen der Virtualisierung über die Kommandozeile =====

: <code> qmrestore VMACHINE_BACKUP NEW_VM_ID -storage STORAGENAME </code>

== Siehe auch ==

* [[Server/FreeNAS]]
* [[xora]]

[[Kategorie:Rechentechnik]]
[[Kategorie:GNU/Linux]]