ZFS storage - zhodnocení po 5 letech

1.4. 00:21 | Přečteno: 1464× | linux | | poslední úprava: 1.4. 02:12

Toto se povedlo, kua jako že jo :)

Návrh ZFS storage pro pětiletý cykl

Před 5 lety jsem vydal tento článek: ZFS : Stavba a zkušenosti se ZFS storage (2). Dělal jsem návrh svého druhého ZFS storage, kde jsem oproti prvnímu zvýšil HA (zdvojil SLOG,zdvojil řadiče, nahodil multipath / přešel ze SATA na SAS apod.)

Po víc, jak pěti letech provozu, je počet vyreklamovaných disků 0, počet závad téměř nula. Tím téměř myslím to, že po pěti letech provozu zahaprovalo spojení mezi řadičem a jbodem. Díky multipath a druhému řadiči se nic nestalo. V takto porušeném režimu pole běželo dlouho, protože jsem se ne a ne dostat k nějaké odstávce. Nakonec tu odstávku za mně udělali dělníci, kdy kolega vše zaplachtoval až příliš důkladně a jbod vyhodnotil, že nemá dostatečné flow a vypnul se.

Po tomto incidentu trvalo naběhnutí pole asi 50 minut. Celé to vázlo na importu poolu. Údajně běžná věc při takovém objemu a zaplnění, které v tu chvíli mělo (asi 90% zaplněné kapacity). Po naběhnutí komunikace obou řadičů ok. Tuto neplánovanou odstávku jsem spojil i s updatem OS (TrueNAS, minor update), takže mám zase na nějakou dobu klid. Jinak následně se spustil scrub na opravu, který má takovouto stats:

  pool: datastore1
 state: ONLINE
  scan: scrub repaired 0B in 2 days 02:44:15 with 0 errors on Tue Mar  3 02:44:19 2026
config:

        NAME                                            STATE     READ WRITE CKSUM
        datastore1                                      ONLINE       0     0     0
          raidz2-0                                      ONLINE       0     0     0
            gptid/e0c73b3f-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e11b87ec-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e155da8d-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e1ba807f-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ecd43c34-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e244f725-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e25eb9a9-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e2f36486-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
          raidz2-1                                      ONLINE       0     0     0
            gptid/e1b4c16b-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e2d049dd-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e2bd2f36-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e34300d5-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e37918c0-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e3952071-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e3ddada3-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e43f013a-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
          raidz2-2                                      ONLINE       0     0     0
            gptid/e66787ec-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e6fad7ec-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e7030af7-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e78de0a9-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e7a41080-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e7e6ce17-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e8041a3d-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e8515c44-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
          raidz2-3                                      ONLINE       0     0     0
            gptid/e8ac1e51-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e914737e-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e93c2b35-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e97ec9c3-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e98d8e95-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e95eb55a-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/e9b53ca1-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ea2399d5-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
          raidz2-4                                      ONLINE       0     0     0
            gptid/eb4c05bc-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ebfc1f74-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ebf6e8ec-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ec581676-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ec81ebc7-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ec996a49-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ec853cf3-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
            gptid/ecbed015-2971-11eb-ba5b-3cecef47a87c  ONLINE       0     0     0
          raidz2-7                                      ONLINE       0     0     0
            gptid/f46531d3-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f46d29cc-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f499ca5c-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f49bc7d9-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f47db4c6-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f46a87cd-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f49b9aa9-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/f46fcb53-7eae-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
          raidz2-8                                      ONLINE       0     0     0
            gptid/18f689b8-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18cee58f-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18b1c2e7-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18c681d1-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18c3e3c2-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18d4f32e-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18f61d0b-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
            gptid/18b880be-7eaf-11ee-8aad-3cecef47a87c  ONLINE       0     0     0
        logs
          gptid/ec8a7f2c-2971-11eb-ba5b-3cecef47a87c    ONLINE       0     0     0
          gptid/ecc15c66-2971-11eb-ba5b-3cecef47a87c    ONLINE       0     0     0

errors: No known data errors

Neplánované použití

Původně jsem chtěl pole jen na zálohy. Ve finále na něm skončily nějaké VM, a to jak provozované v rámci vmware (různé obnovy testů apod.), tak VM spuštěné přímo na poli. Usoudil jsem, že bude lepší mít backupovací VM přímo na storage, odstíněné od zálohované infrastruktury.

Z toho důvodu jsem TrueNAS nemigroval na Linux, ale nechal jsem na něm dožívat verzi postavenou na FreeBSD, která je stále podporována a dlouho ještě bude. Ono totiž migrace z bhyve na KVM není podporována a nechtěl jsem tím zabíjet čas. Vize byla, že to překopu na Linux s nákupem/stavěním nového storage.

No a musím říci, že jak zaplnění pole rostlo, občas peaky k 90% a více, tak při takovém zaplnění, nebo nějakém druhu zatížení, začaly ty VM zlobit. A to tak, že backupovací Linux VM občas hodila nějaký mountpoint do RO a windowsí mašině spadla backup služba veeamu a nešla nahodit (jen restart to vyřešil). To byl jediný problém, co jsem tedy měl a trochu jsem to přisuzoval bhyve.

Nějaké statistiky

Hell yeah!!! :).

Intel Optane, kámo bro kámo, epesní výkon!!! Slzy nemohu udržet a deprese, čím to nahradím u dalšího pole. Jako, mám jeden spare Optane, co jsem nevyužil a mám sto chutí použít u nového pole ten nový optane a k tomu ten jeden starý (druhý starý bych nechal v současném poli)

Doporučuji se zaměřit na kapacitu disků vs read vs write :)

První optane:
root@bs2-ph[~]# smartctl -a /dev/nvme0
smartctl 7.2 2021-09-14 r5236 [FreeBSD 13.1-RELEASE-p9 amd64] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Number:                       INTEL SSDPE21D480GA
Serial Number:                      PHM202400099480BGN
Firmware Version:                   E2010480
PCI Vendor/Subsystem ID:            0x8086
IEEE OUI Identifier:                0x5cd2e4
Controller ID:                      0
NVMe Version:                       <1.2
Number of Namespaces:               1
Namespace 1 Size/Capacity:          480,103,981,056 [480 GB]
Namespace 1 Formatted LBA Size:     512
Local Time is:                      Wed Apr  1 00:02:45 2026 CEST
Firmware Updates (0x02):            1 Slot
Optional Admin Commands (0x0007):   Security Format Frmw_DL
Optional NVM Commands (0x0006):     Wr_Unc DS_Mngmt
Log Page Attributes (0x0a):         Cmd_Eff_Lg Telmtry_Lg
Maximum Data Transfer Size:         32 Pages

Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +    18.00W       -        -    0  0  0  0        0       0

Supported LBA Sizes (NSID 0x1)
Id Fmt  Data  Metadt  Rel_Perf
 0 +     512       0         2

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        38 Celsius
Available Spare:                    100%
Available Spare Threshold:          0%
Percentage Used:                    11%
Data Units Read:                    22,014 [11.2 GB]
Data Units Written:                 4,102,812,051 [2.10 PB]
Host Read Commands:                 398,242
Host Write Commands:                18,113,744,794
Controller Busy Time:               16,488
Power Cycles:                       18
Power On Hours:                     47,168
Unsafe Shutdowns:                   8
Media and Data Integrity Errors:    0
Error Information Log Entries:      0

Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged


Druhý optane:
root@bs2-ph[~]# smartctl -a /dev/nvme1
smartctl 7.2 2021-09-14 r5236 [FreeBSD 13.1-RELEASE-p9 amd64] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Number:                       INTEL SSDPE21D480GA
Serial Number:                      PHM20240002D480BGN
Firmware Version:                   E2010480
PCI Vendor/Subsystem ID:            0x8086
IEEE OUI Identifier:                0x5cd2e4
Controller ID:                      0
NVMe Version:                       <1.2
Number of Namespaces:               1
Namespace 1 Size/Capacity:          480,103,981,056 [480 GB]
Namespace 1 Formatted LBA Size:     512
Local Time is:                      Wed Apr  1 00:03:24 2026 CEST
Firmware Updates (0x02):            1 Slot
Optional Admin Commands (0x0007):   Security Format Frmw_DL
Optional NVM Commands (0x0006):     Wr_Unc DS_Mngmt
Log Page Attributes (0x0a):         Cmd_Eff_Lg Telmtry_Lg
Maximum Data Transfer Size:         32 Pages

Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +    18.00W       -        -    0  0  0  0        0       0

Supported LBA Sizes (NSID 0x1)
Id Fmt  Data  Metadt  Rel_Perf
 0 +     512       0         2

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        36 Celsius
Available Spare:                    100%
Available Spare Threshold:          0%
Percentage Used:                    11%
Data Units Read:                    1,140 [583 MB]
Data Units Written:                 4,102,602,032 [2.10 PB]
Host Read Commands:                 12,786
Host Write Commands:                18,113,662,391
Controller Busy Time:               16,469
Power Cycles:                       18
Power On Hours:                     47,168
Unsafe Shutdowns:                   8
Media and Data Integrity Errors:    0
Error Information Log Entries:      0

Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged

Průměrně mají WD SAS disky takovýto smart (tj. na 6TB disk zapsáno 241TB dat, ty dva nepodstatné errory nejsou běžné)

=== START OF INFORMATION SECTION ===
Vendor:               HGST
Product:              HUS726T6TAL5204
Revision:             C4B0
Compliance:           SPC-4
User Capacity:        6,001,175,126,016 bytes [6.00 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
LU is fully provisioned
Rotation Rate:        7200 rpm
Form Factor:          3.5 inches
Logical Unit id:      0x5000cca0bd113a08
Serial number:        V9G9GPLL
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Wed Apr  1 00:05:28 2026 CEST
SMART support is:     Available - device has SMART capability.
SMART support is:     Enabled
Temperature Warning:  Enabled

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK

Grown defects during certification <not available>
Total blocks reassigned during format <not available>
Total new blocks reassigned <not available>
Power on minutes since format <not available>
Current Drive Temperature:     28 C
Drive Trip Temperature:        85 C

Accumulated power on time, hours:minutes 47172:49
Manufactured in week 27 of year 2020
Specified cycle count over device lifetime:  50000
Accumulated start-stop cycles:  10
Specified load-unload count over device lifetime:  600000
Accumulated load-unload cycles:  1945
Elements in grown defect list: 0

Vendor (Seagate Cache) information
  Blocks sent to initiator = 59212261029314560

Error counter log:
           Errors Corrected by           Total   Correction     Gigabytes    Total
               ECC          rereads/    errors   algorithm      processed    uncorrected
           fast | delayed   rewrites  corrected  invocations   [10^9 bytes]  errors
read:          0        2         0         2   21601524     349516.516           0
write:         0        0         0         0    1819111     241482.688           0
verify:        0        0         0         0      28742          0.000           0

Nesouvisející vsuvka

Když už jsme u počtu zápisů/přepisů, tak v práci se mnou už přes několik PC putoval stařičký sata CT250MX500SSD1 (250GB Crucial MX500), který má aktuálně Total_LBAs_Written = 223291978668, což je přeloženo do člověčiny cca 104TiB dat, což je 425 přepisů. Celý smart vypadá takto:

[3][root@devaine ~]# smartctl -a /dev/sda
smartctl 7.5 2025-04-30 r5714 [x86_64-linux-6.19.10-arch1-1] (local build)
Copyright (C) 2002-25, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Crucial/Micron Client SSDs
Device Model:     CT250MX500SSD1
Serial Number:    2022E2A6C760
LU WWN Device Id: 5 00a075 1e2a6c760
Firmware Version: M3CR023
User Capacity:    250 059 350 016 bytes [250 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available
Device is:        In smartctl database 7.5/5706
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Wed Apr  1 01:47:30 2026 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever 
                                        been run.
Total time to complete Offline 
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine 
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  30) minutes.
Conveyance self-test routine
recommended polling time:        (   2) minutes.
SCT capabilities:              (0x0031) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   100   100   000    Pre-fail  Always       -       0
  5 Reallocate_NAND_Blk_Cnt 0x0032   100   100   010    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       24161
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       76
171 Program_Fail_Count      0x0032   100   100   000    Old_age   Always       -       0
172 Erase_Fail_Count        0x0032   100   100   000    Old_age   Always       -       0
173 Ave_Block-Erase_Count   0x0032   195   195   000    Old_age   Always       -       2424
174 Unexpect_Power_Loss_Ct  0x0032   100   100   000    Old_age   Always       -       31
180 Unused_Reserve_NAND_Blk 0x0033   000   000   000    Pre-fail  Always       -       30
183 SATA_Interfac_Downshift 0x0032   100   100   000    Old_age   Always       -       0
184 Error_Correction_Count  0x0032   100   100   000    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0022   053   040   000    Old_age   Always       -       47 (Min/Max 0/60)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_ECC_Cnt 0x0032   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   100   100   000    Old_age   Always       -       0
202 Percent_Lifetime_Remain 0x0030   195   195   001    Old_age   Offline      -       161
206 Write_Error_Rate        0x000e   100   100   000    Old_age   Always       -       0
210 Success_RAIN_Recov_Cnt  0x0032   100   100   000    Old_age   Always       -       0
246 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       223291978668
247 Host_Program_Page_Count 0x0032   100   100   000    Old_age   Always       -       5081205466
248 FTL_Program_Page_Count  0x0032   100   100   000    Old_age   Always       -       17976883566

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Completed [00% left] (0-65535)
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Jinými slovy, pokud sáhnu do historie v podobě tohoto článku: Kdo nemá SSD disk je masochista a srab, tak SSD plní své úlohy maximálně dle očekávání. Nutno říci, že mluvím o normálních SSD, né o nějakých "32bitových šmejďárnách". Nehrozí tedy ani poničení "běžným používáním" nastíněném zde: SSD a zničení běžným používáním? Možná to jde...

Závěr

Pole bylo/je určeno na zálohy, odvedlo ale větší zátěž a větší IOPS díky provozu nějakých VM, někdy i dost náročných na IOPS. Další pole už nebudu skládat z 6TB disků, ale vypadá to na nějaké z 12TB disků, nebo větších (poměr / cena / výkon apod.). A zvednu to na nějakých 0,5PB použitelnou kapacitu (tj. se zaplněním max 80%) s možností to natáhnout na 1PB.

Také už pomalu začínám navrhovat a sizovat CEPH, ale ty šílený ceny do toho hážou vidle, takže těžko říci, zda to bude projekt na letos, nebo spíše až na příští rok :-/.

Zdar Max        

Komentáře

[MakeIranBombedAgain❗]

ttttsssssss aprííl nas nenachytaš :P :P :D ;D

ty šílený ceny do toho hážou vidle, takže těžko říci, zda to bude projekt na letos, nebo spíše až na příští rok

lidi to hele viděj temějc :D ten članek je dystopickej možná až moc ale věřim že kdo chce čekat si asi jako bude muset nakonec počkat klidně i dýl než jen jeden rok :D

[Max]

Však já to vím, že je to v řiti. Aspoň jsme za včasu koupili pár serverů (každý s 2TB ram) pro SAP těsně před tím, než to šlo nahoru. V dnešní době jsou všechny cen nabídky od vendorů stažený na max 10 dní. Poptali jsme SSD storage a přišla nabídka za 10 mega s tím, že to 3x stouplo za poslední tři měsíce. Za 14 dní už říkali, že to prodají za 12 mega a teď už to bude tak za 14 mega. Takže zpátky do minulosti k rotačákům a hybridním polím, no :-/.
Jinak teď kupujeme dva servery, za asi 1,5 mega. Z toho mego je za ramky.
Zdar Max

[panika]

dik za blog. ceph kvuli featuram nebo se ti nechce do zfs on linux?

[Max]

Jednak budu skládat další ZFS pole, jak jsem psal v zápisku, začnu na 0,5PB a půjdu k 1PB. A samozřejmě na Linuxu. CEPH kvůli tomu, že budeme migrovat z VMware (protože prý končí) na Proxmox (tam současná iSCSI řešení nejsou ideální), protože potřebujeme čím dál větší S3 a Minio už nechceme řešit, a protože chceme mít i nějaké lepší globálně replikovatelné úložiště.
Zdar Max

[panika]

rozumim, priste budu lip cist. ja jsem svoje mini esxi premigroval na mini proxmoxy s local zfs skrz vanoce a zatim dobry. pbs (s local zfs) mi prijde hodne cool ale porovnavam s ghettovcb takze o dost pater pod tim co mas (brzo mels :)) ty. zarazil me trochu fw a sitovani ale nakonec se to poddalo a delaj potize jen tech par win vm co se jim semtam nejak divne sekne sitovka ale zapojit vypojit virtualni kabl pomuze.. linoxovy virtualy a chr luxus.

[Max]

Na proxmoxu zatím provozuji jen Windows Servery a bez problémů. A některé jsou i mega zatížené. Narazil jsem jen na jeden problém, kdy se zbláznilo CPU a celý Win freezoval a to bylo nastavením disků v proxmoxu pro VM, už přesně nevím, ale byl to známý bug, resp. zdokumentované chování.
Zdar Max

[bazant]

vmware jsem prestal sledovat (vse take premigrovano na proxmox) od te doby, co to broadcom zacal likvidovat nenazranosti, ale necekal bych, ze to zariznou tak rychle - nemas k tomu nejake detaily?

[Max]

Mám info od jednoho vendora, že Broadcom čeká na postupné vypršení různých smluv a pak se napálí nějaké nesmyslné ceny za core. Cílem je prý horních 2k, nebo 5k klientů a všech ostatních se zbavit. Mám info, že i jedna nejmenovaná banka v ČR, co jede na vmware, neví, co bude dělat, protože ty následující ceny už jsou i na ní moc.
Ke stávajícím zákazníkům se nechovají také vůbec pěkně. Jedna naše firma měla nakoupený licence, které skončily v price listech, prostě support běžel, ale Broadcom je přestával prodávat. Normálně je stáhli i ze support portálu, takže firma, co je měla na dva roky zaplacený, se nedostala k aktualizacím, protože portál tvrdil, že nic nemá. Support naprosto zbytečný, nic nevyřešil. Ptal jsem se na to jednoho vendora a prý se s tím také setkali.
Broadcom je nejvíc zmrdská firma za poslední roky. Ale to asi všechny obří firmy. Třeba SAP začal být také ultrazmrdský.
Zdar Max

[2012]

Proč CEPH? Nechceš raději Linstore?

[Max]

Linstor není alternativa pro ceph. Není to distribuované úložiště s tak pokročilými fcemi jako má ceph. Linstor je takové lepší DRBD a to je asi tak vše.
Ohledně CEPH očekávám velký distribuovaný storage, kde budu využívat nejen S3 implementaci.
Každopádně zatím to spíše vypadá, že z nedostatku času a dalších věcí možná nastane návrat k Netappu.
Zdar Max