Koozali.org: home of the SME Server

SME et choix RAID5 ou RAID1...

Offline STRyk

  • ****
  • 190
  • +0/-0
SME et choix RAID5 ou RAID1...
« on: June 27, 2020, 03:55:17 AM »
Bonjour,
Pardonnez moi pour avoir créer un sujet sur ce choix assez simple en apparence mais c'est justement après mon problème découvert suite à des bruits ici : https://forums.contribs.org/index.php/topic,54219.0.html
...que j'essaye de prendre la meilleur voix.

A terme, je vais devoir prendre deux disques avec TLER/CCTL/ERC, bien que les finances ne suivent pas du tout...

Je vais donc avoir mes fichiers sur deux disques 8To dans ma machine de Travail (un Mac) et un server SME v9.2 X64 d'archive avec 4 disques de 8To.
La question du choix du type de RAID se pose encore une fois. Il y a longtemps j'avais un server sous Linux RedHat avec 4 disques de 256Go en RAID5, j'en était très content. Je n'ai jamais eu de crash ni de soucis.
J'ai aussi eu un server SME temporaire en RAID5, puis la taille des disques étant devenus plus conséquents je suis passé au RAID1.

Deux grappes de RAID1 avec 4 disques de 8To font deux volumes de 8To chacuns, donc 16To, mais lorsqu'il faut déplacer les fichiers d'un volume à l'autre c'est un peu "tordu".

Une grappe de 4 disques en RAID5 ferait un volume de 24To, soit un peu de place afin d'avoir de la marge.

Ayant donc les fichiers d'origine sur deux disques de 8To en faisant un server d'archive en RAID5 serait il, selon vous, une bonne solution ? Ou faut il reparti sur deux grappes en RAID1 ?

Le server d'archive ne tournerai pas 24h/24 mais seulement une fois par semaine pour archiver.

Je connais les point négatif du RAID5 avec 1 disque qui tombe en panne, ça va mais deux celà poserait problème...

Merci pour vos avis à venir. (Les autres sujets sont toujours d'actualités et en suspend)

Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #1 on: June 27, 2020, 11:36:19 AM »
The answer is always a question.

Can you afford to lose all your data?

Can you backup 24Tb properly to external media?

If you don't use enterprise disks you increase the risk of failure and losing your data. Starting and stopping them may also be worse than running them 24/7

A few hundred euros might seem expensive now, but how much would it cost if you lost ALL your work?

That is what you have to decide. You want an answer that no one is prepared to give you (that is a hint)

The facts and physics do not change, no matter how much you want them too.
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation

Online stephdl

  • *
  • 1,519
  • +0/-0
    • Linux et Geekeries
Re: SME et choix RAID5 ou RAID1...
« Reply #2 on: June 27, 2020, 12:23:51 PM »
En clair et sans sous titre, tes 24 Teras ont besoin eux même d'un backup. j'ai 4x4T en raid6 a la maison, mais j'ai aussi un HD de 8T pour le backup du raid

Ceinture, bretelles et ficelle tu me diras, mais le jour ou mon precedent raid5 a cassé lors de la reconstruction, je n'ai rien perdu grace au backup.
« Last Edit: June 27, 2020, 12:25:55 PM by stephdl »
See http://wiki.contribs.org/Koozali_Foundation
irc : Freenode #sme_server #sme-fr

!!! Please write your knowledge to the Wiki !!!

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #3 on: June 27, 2020, 02:10:55 PM »
Oui, donc comme d'habitude : RAID5 = Poubelle.  :(

A moins d'avoir un budget de fou mais ce n'est pas le cas.

Merci en tout cas.
 :?

Offline Daniel B.

  • *
  • 1,699
  • +0/-0
    • Firewall Services, la sécurité des réseaux
Re: SME et choix RAID5 ou RAID1...
« Reply #4 on: June 27, 2020, 03:05:04 PM »
Si tu veux le redondance d'un RAID1 sans avoir à gérer deux volumes distincts, fais simplement un RAID10. Ça t'offrira d'ailleurs les meilleures perf
C'est la fin du monde !!! :lol:

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #5 on: June 27, 2020, 03:11:23 PM »
Oui, merci j'y avait pensé mais les performances ne sont pas au choix premier. L'idée était d'avoir un seul volume. De plus, en RAID 10 il n'y aurait qu'un seul volume de 8To !
« Last Edit: June 27, 2020, 03:13:13 PM by STRyk »

Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #6 on: June 27, 2020, 06:56:53 PM »
As I said earlier, you want us to give you the answer you want to hear.

You want 24Tb with desktop drives and with no real risk, and no backup.

But no matter how many times you ask it, the answer will still be the same.

You can't change physics and maths!

This is enterprise level storage and you need enterprise level solutions for your data security. That comes at a price.

Just decide how much it will cost you to lose and replace all 24Tb of data and work from there :-)
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #7 on: June 27, 2020, 06:59:35 PM »
Je n'ai jamais parlé de disque de bureau....

Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #8 on: June 28, 2020, 02:08:46 PM »
Je n'ai jamais parlé de disque de bureau....

I'd refer you back to the link you posted in your first post here??

Has something changed that you haven't mentioned or I have missed in translation?

If you are using ALL enterprise drives it is clearly better - your MTBF is better, but failure is still a big risk. The essential maths remains the sme.

Can you backup 24Tb?

How much would it cost if you lost 24Tb data (and guaranteed it will fail at the first moment, not when you only have 2Tb....)

I'm not trying to be harsh, but don't want to be trying to help you recover a failed array.

I've seen too many tales of woe on the linux raid mailing list  :shock:
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #9 on: June 28, 2020, 02:37:30 PM »
Oui, merci pour ton aide ReetP, les traductions prennent un peu de temps, donc je sais le temps que l'on peu passer dessus. Je crois que c'est une incompréhension due à la traduction ou peut être que je me suis mal exprimé.
J'ai fais un nouveau sujet car l'idée est d'en savoir plus, grâce à vous tous, qui avez sans doute eus une expérience avancée dans le domaine.

Je reprends donc pour une configuration à venir :
4 disques NAS (avec TLER/CCTL/ERC) de 8To sur SME 9.2.
Les deux disques dont j'ai découvert qu'il n'avait pas l'option "TLER/CCTL/ERC" seront des disques de travail dans la machine de travail. Le serveur sera une machine de sauvegarde (Archive) de 4x8To.
Après réflexion, la solution RAID 10 est assez intéressante, car si je réfléchis bien fera un volume de 16To.

Je vais tester la chose avec un serveur virtuel, mais au boot par défaut SME ne propose pas cette option.
C'est soit Raid 0 ou Raid 1.
Je teste donc avec une installation avec les options :
"vmlinuz initrd=initrd.img text selinux=0 nodmraid raid=10 nolvm nospare"

Traduction :

Yes, thanks for your help ReetP, the translations take a little time, so I know the time we can spend on it. I think it is a misunderstanding due to the translation or maybe I misspoke.
I have made a new subject because the idea is to know more, thanks to all of you, who have no doubt had advanced experience in the field.

I therefore resume for an upcoming configuration:
4 NAS drives (with TLER / CCTL / ERC) of 8TB on SME 9.2.
The two disks which I discovered did not have the "TLER / CCTL / ERC" option will be working disks in the Desktop (working) machine. The server will be a 4x8TB backup machine (Archive).
After thinking about it, the RAID 10 solution is quite interesting, because if I think about it well, my volume will be 16TB.

I will test the thing with a virtual server, but at default boot SME does not offer this option.
It's either Raid 0 or Raid 1.
So I test with an installation with the options :
"vmlinuz initrd=initrd.img text selinux=0 nodmraid raid=10 nolvm nospare"
« Last Edit: June 28, 2020, 02:42:18 PM by STRyk »

Offline Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME et choix RAID5 ou RAID1...
« Reply #10 on: June 28, 2020, 02:51:24 PM »
tu vas devoir formater toi meme en raid 10

une option est d’avoir un disque ssd seul pour le systeme puis de rajouter tes disques en raid 10 manuellement pout les monter sur /home/e-smith/files/

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #11 on: June 28, 2020, 02:56:32 PM »
Merci JPP, je viens de tester avec la ligne du dessus et ca me donne ceci :

Code: [Select]
Personalities : [raid1]
md0 : active raid1 sdd1[3] sdc1[2] sdb1[1] sda1[0]
      255936 blocks super 1.0 [4/4] [UUUU]

md2 : active raid1 sdd3[3] sdc3[2] sdb3[1] sda3[0]
      2063360 blocks super 1.1 [4/4] [UUUU]

md1 : active raid1 sdd2[3] sdc2[2] sdb2[1] sda2[0]
      6063104 blocks super 1.1 [4/4] [UUUU]
      bitmap: 1/1 pages [4KB], 65536KB chunk

Tu confirme donc qu'il n'est pas possible directement de monter un RAID 10 de base avec ma commande ?
Merci ;)

Code: [Select]
==================================== >> Volumes des disques << ====================================

/dev/md1  on  /                         type  ext4         (rw,usrquota,grpquota)
/dev/md0  on  /boot                     type  ext4         (rw)

NAME    MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINT
sr0      11:0    1 1024M  0 rom   
sda       8:0    0    8G  0 disk 
├─sda1    8:1    0  250M  0 part 
│ └─md0   9:0    0  250M  0 raid1 /boot
├─sda2    8:2    0  5,8G  0 part 
│ └─md1   9:1    0  5,8G  0 raid1 /
└─sda3    8:3    0    2G  0 part 
  └─md2   9:2    0    2G  0 raid1 [SWAP]
sdb       8:16   0    8G  0 disk 
├─sdb1    8:17   0  250M  0 part 
│ └─md0   9:0    0  250M  0 raid1 /boot
├─sdb2    8:18   0  5,8G  0 part 
│ └─md1   9:1    0  5,8G  0 raid1 /
└─sdb3    8:19   0    2G  0 part 
  └─md2   9:2    0    2G  0 raid1 [SWAP]
sdc       8:32   0    8G  0 disk 
├─sdc1    8:33   0  250M  0 part 
│ └─md0   9:0    0  250M  0 raid1 /boot
├─sdc2    8:34   0  5,8G  0 part 
│ └─md1   9:1    0  5,8G  0 raid1 /
└─sdc3    8:35   0    2G  0 part 
  └─md2   9:2    0    2G  0 raid1 [SWAP]
sdd       8:48   0    8G  0 disk 
├─sdd1    8:49   0  250M  0 part 
│ └─md0   9:0    0  250M  0 raid1 /boot
├─sdd2    8:50   0  5,8G  0 part 
│ └─md1   9:1    0  5,8G  0 raid1 /
└─sdd3    8:51   0    2G  0 part 
  └─md2   9:2    0    2G  0 raid1 [SWAP]

================================== >> Détail du RAID '/dev/md0' << ================================

/dev/md0:
        Version : 1.0
  Creation Time : Sun Jun 28 14:27:10 2020
     Raid Level : raid1
     Array Size : 255936 (249.94 MiB 262.08 MB)
  Used Dev Size : 255936 (249.94 MiB 262.08 MB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Jun 28 14:49:22 2020
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

           Name : localhost.localdomain:0
           UUID : c5434e75:943d0f04:95b4fe74:000d1b7c
         Events : 19

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1

================================== >> Détail du RAID '/dev/md1' << ================================

/dev/md1:
        Version : 1.1
  Creation Time : Sun Jun 28 14:27:10 2020
     Raid Level : raid1
     Array Size : 6063104 (5.78 GiB 6.21 GB)
  Used Dev Size : 6063104 (5.78 GiB 6.21 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Sun Jun 28 14:50:22 2020
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

           Name : localhost.localdomain:1
           UUID : f2c48b54:20f36012:730adc25:c31dabff
         Events : 30

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       8       18        1      active sync   /dev/sdb2
       2       8       34        2      active sync   /dev/sdc2
       3       8       50        3      active sync   /dev/sdd2

================================== >> Détail du RAID '/dev/md2' << ================================

/dev/md2:
        Version : 1.1
  Creation Time : Sun Jun 28 14:27:13 2020
     Raid Level : raid1
     Array Size : 2063360 (2015.00 MiB 2112.88 MB)
  Used Dev Size : 2063360 (2015.00 MiB 2112.88 MB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Jun 28 14:48:28 2020
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

           Name : localhost.localdomain:2
           UUID : 5dac8549:fd9ffea4:91e319fb:5612da06
         Events : 19

    Number   Major   Minor   RaidDevice State
       0       8        3        0      active sync   /dev/sda3
       1       8       19        1      active sync   /dev/sdb3
       2       8       35        2      active sync   /dev/sdc3
       3       8       51        3      active sync   /dev/sdd3

Si je reprends la définition même du RAID 10 c'est deux grappes de RAID1 en RAID0
Je vais tenter un essai en virtuel...
« Last Edit: June 29, 2020, 05:09:47 AM by STRyk »

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #12 on: June 28, 2020, 07:27:56 PM »
Voici mon essai. Ais-je bon ?

Structurer les disques avec parted :
# parted -a optimal /dev/sdb mklabel gpt mkpart primary ext4 0% 100% set 1 raid on quit
# parted -a optimal /dev/sdc mklabel gpt mkpart primary ext4 0% 100% set 1 raid on quit
# parted -a optimal /dev/sdd mklabel gpt mkpart primary ext4 0% 100% set 1 raid on quit
# parted -a optimal /dev/sde mklabel gpt mkpart primary ext4 0% 100% set 1 raid on quit

Formatage :
# mkfs.ext4 /dev/sdb
# mkfs.ext4 /dev/sdc
# mkfs.ext4 /dev/sdd
# mkfs.ext4 /dev/sde

Création du RAID 1+0 :
# mdadm --create /dev/md5 --level=10 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde
Formatage du RAID 1+0 :
# mkfs.ext4 /dev/md5

# mdadm --detail --scan --verbose|grep md5 >> /etc/mdadm.conf
# cat /proc/mdstat

Montage du RAID 1+0 :
# mkdir /mnt/RAID10
# mount /dev/md5 /mnt/RAID10
Vérification :
# df -Th

Déplacement des répertoires SME "/home/e-smith/files" :
# cp -fr /home/e-smith/files /mnt/RAID
# mv /home/e-smith/files /home/e-smith/files.old
Création du lien symbolique vers le nouvel endroit :
# ln -s /mnt/RAID10/files /home/e-smith/files

Ajout dans fstab pour le montage au boot (Il n'y a pas besoin d'utiliser les templates) :
# vi /etc/fstab
#====8><===========================================================================================
/dev/md5 /mnt/RAID10 ext4 defaults 0 0
#====8><===========================================================================================

J'ai gagné ou tout faux ? avec mon RAID10 (1+0) ? :D
# cat /proc/mdstat
Personalities : [raid1] [raid10]
md5 : active raid10 sde[3] sdd[2] sdc[1] sdb[0]
      16760832 blocks super 1.2 512K chunks 2 near-copies [4/3] [UUUU]
md0 : active raid1 sda1[0]
      255936 blocks super 1.0 [2/1] [U_]
md1 : active raid1 sda3[0]
      62690304 blocks super 1.1 [2/1] [U_]
      bitmap: 1/1 pages [4KB], 65536KB chunk
md2 : active raid1 sda2[0]
      4126720 blocks super 1.1 [2/1] [U_]
unused devices: <none>

Montage du RAID 1+0 :
# mkdir /mnt/RAID10
# mount /dev/md5 /mnt/RAID10

Est-ce sérieux ou pas ?
L'intérrêt est qu'il peut y avoir 2 disques perdus mais il ne faut pas que ce soit sur le même coté...
Donc un seul disque en erreur il faut vite le remplacer.
 
Pour les quotas je n'ai pas trouvé comment faire fonctionner sur un volume "déporté".

Ce serait vraiment bien de pouvoir avoir le système sur le RAID10.

Sinon je part sur une autre idée :
RAID5 avec disque de spare, donc 4 disques de 8To : 3 disques en RAID5, 1 disque de spare.
Le volume ferait donc 16To en RAID5 avec le disque de spare au cas où il y aurait un de perdu...

Merci pour vos commentaires à venir. ;)
« Last Edit: June 29, 2020, 05:27:30 AM by STRyk »

Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: SME et choix RAID5 ou RAID1...
« Reply #13 on: June 29, 2020, 11:07:37 AM »
Code: [Select]
md0: active raid1 sda1 [0]
      255936 blocks super 1.0 [2/1] [U_]
md1: active raid1 sda3 [0]
      62690304 blocks super 1.1 [2/1] [U_]
      bitmap: 1/1 pages [4KB ], 65536KB chunk
md2: active raid1 sda2 [0]
      4126720 blocks super 1.1 [2/1] [U_]

You only have a single boot drive. SME will always create a RAID 1 mirror even on a single drive and leave it with a 'failed' drive.

You could create the base system with JUST the No Raid option. Alternatively, and for a stress free existence, get another drive and make the main system live on a proper mirror. (This is in the Wiki)

Code: [Select]
md5: active raid10 sde [3] sdd [2] sdc [1] sdb [0]
      16760832 blocks super 1.2 512K chunks 2 near-copies [4/3] [ UUUU]

I think that looks OK. Note how many drives you can afford to lose at any one time.


Quote
Otherwise, I'm going on another idea:
RAID5 with spare disk, so 4 8TB disks: 3 disks in RAID5, 1 spare disk.
The volume would therefore be 16TB in RAID5 with the spare disk in case there is one lost ...

Having a spare won't really help you. All it does is start rebuilding without user intervention.

The issues occur when you are rebuilding. At this point the drives are under maximum stress - both reading/writing data AND rebuilding. The more data, the more stress, the longer the rebuild time, and the higher the chance that second drive will fail. The chances are like you that you ought all the drives at the same time, so your spare is as old as your working drives.....

You would be better using the 'Spare' in RAID 6 - you still get 8Tb and can survive two failed drives (it will be painfully slow with failed drives/rebuild though)

This is an excellent article on your problem.

https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

Ultimately as I have said before, it all depends on how much your data is worth and can you afford to lose it all?
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation

Offline Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME et choix RAID5 ou RAID1...
« Reply #14 on: June 29, 2020, 03:38:45 PM »
de souvenir sur SME9 meme avec une install noraid, il va creer un raid degradé pour la partition de boot.