Koozali.org: home of the SME Server

SME 9.2 X64 ajouter une grappe RAID et la formater...

Offline STRyk

  • ****
  • 190
  • +0/-0
SME 9.2 X64 ajouter une grappe RAID et la formater...
« on: September 27, 2017, 12:08:23 PM »
Bonjour,
Suite au sujet précédent, le choix entre RAID1 et RAID 5, je me tourne donc vers deux grappes de RAID1. A terme j'utilisera aussi des disques de swap.
J'utilise SME avec les options "nolvm" et "nospare", pour faciliter la restauration des données après un crash SME ou autre.
Le système sera installé normalement, ça pas de soucis mais après comment ajouter la seconde grappe RAID1, la formater et l'intégrer proprement dans SME.

J'ai trouvé ceci mais je me demande toujours si ces tutos sont bien valables sur SME : https://doc.ubuntu-fr.org/raid_logiciel

Merci pour vos explications ou liens à venir. J'ai trouvé différentes choses mais je me demande si c'est en phase avec SME car il y a des partitions de swap à ajouter et autre... Je ne sais pas quelle structure adopter.

Dernière question : Charger un volume SME à 97% de données est-ce un problème ? Ce server servira d'archives "longues", il ne sera démarré que pour aller récupérer des données stockées depuis longtemps.

Merci par avance !

Online Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #1 on: September 28, 2017, 07:38:57 AM »
disons que la deuxiene grape utilise sdc et sdd

en regardant https://wiki.contribs.org/AddExtraHardDisk

# partitionnement sdc
fdisk /dev/sdc
#partitionnement sdd de la meme facon
sfdisk -d /dev/sdc | sfdisk /dev/sdd

#disons que nous avons choisi 1 seule partition par disque
 mknod /dev/md5 b 9 5
mdadm --create /dev/md5 --level=1 --raid-devices=2 --name=MesDaTaRAIDS0 /dev/sdc1 /dev/sdd1
mkfs.ext4 /dev/md5

#puis il faut declarer la grappe dans etc mdadm.conf
mdadm --detail --scan --verbose|grep md5 >> /etc/mdadm.conf

#quota
quotacheck -vugc /dev/md5

# puis ajouter la grappe dans fstab
/dev/md5 /mnt/newdisk ext4 usrquota,grpquota 1 2


/mnt/newdisk peut être à adapter au besoin ( par exemple  /home/e-smith/files/ibays), mais il faudra au préalable déplacer les données en montant temporairement le disque ailleur.


edition:  modification de la ligne fstab en ext4  pour refleter le formatage réalisé
« Last Edit: September 29, 2017, 06:02:11 AM by Jean-Philippe Pialasse »

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #2 on: September 28, 2017, 11:05:01 AM »
Merci beaucoup.
Ce lien je m'en souviens maintenant !
Ton explication est bien détaillée, je vais donc l'utiliser.
Je vais procéder aux tests ce soir. ;)

Je suppose que le formatage en GPT sera demandé lors du fdisk ?

Je profite du sujet pour affiner mon projet :  :D

Dans cet exemple tu utilises "/dev/md5", de mémoire SME utilise "/dev/md0". Je suppose que "/dev/md1" est utilisé par SME, aux vues de ce que j'ai pu lire (j'ai utilisé md5).

Concernant le point de montage, je désire créer un user "applications", est il possible de monter la nouvelle grappe sur : "/home/e-smith/files/users/applications/home" sans poser problème ?
(Je n'utilise jamais les "ibays" car je n'ai pas de site www mais que des users).

Entre la déclaration dans mdadm.conf et le quota, il me semble qu'il faut monter le volume ?!?
Je suis en train de faire le test avec un machine virtuelle, j'ai eu ceci :
# quotacheck -vugc /dev/md5
quotacheck: Cannot find mountpoint for device /dev/md5
quotacheck: Aucun point de montage correct spécifié.
quotacheck: Cannot initialize mountpoint scan.

Dernière chose, je vois que l'on formate en ext4 et que l'on déclare dans fstab ext3 : est-ce voulu ?

Merci encore !
« Last Edit: September 28, 2017, 01:51:14 PM by STRyk »

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #3 on: September 28, 2017, 11:15:21 PM »
Je viens d'essayer et j'ai du ajouter dans le fstab avec l'option "ext4" au lieu de "ext3" :

Edition du fstab :
# vi /etc/fstab

Ajout de la ligne suivante dans le fstab :
/dev/md5 /mnt/raid2 ext4 usrquota,grpquota 1 2

Mise à jour :
# mount -a

Puis les quotas:
# quotacheck -vugc /dev/md5

Les fichiers de quotas on bien été crées.
Vous me dire si c'est correct.

Il restera à voir comment monter proprement dans l'utilisateur que je ne vois pas les fichiers de quotas et autre par exemple :
aquota.group
aquota.user
lost+found

...Si je monte sur "/home/e-smith/files/users/archives/home" et que je n'ai pas de problème d'accès, car là dans ce cas là impossible d'écrire dessus.

Donc j'ai réfléchis à ceci grâce au lien que Jean-Philippe Pialasse m'a donné :

Montage des données, avec un user "archives" :
Création du répertoire dans le nouveau RAID1 ainsi créé pour le partage :
# mkdir /mnt/raid2/fichiers
Changer l'utilisateur et groupe :
# chown -R archives:archives /mnt/raid2/fichiers
Regler les permissions :
# chmod 775 -R /mnt/raid2/fichiers
Suppression du répertoire home qui sera remplacé :
# rm -rf /home/e-smith/files/users/archives/home
Création du lien symbolique vers le nouvel endroit :
# ln -s /mnt/raid2/fichiers /home/e-smith/files/users/archives/home
Changer l'utilisateur et groupe de l'utilisateur :
# chown -R archives:archives /home/e-smith/files/users/archives/home

Ca a l'air de bien tenir le pavé. Vous me direz !
;)
« Last Edit: September 29, 2017, 12:27:21 AM by STRyk »

Online Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #4 on: September 29, 2017, 06:15:11 AM »
pour le raid en no lvm et suivant les version de SME il utilise
md0 boot
md1 /
md2 swap

ou
md1 boot
md2 /
md3 swap
(ou peut être que j'inverse / et swap au niveau de l'ordre mais c'est pas trop grave pour l'explication)
d'ou mon choix du md5 pour être sur de pas faire de conflit ;)



il y a plein de facon de proceder pour ton montage. Tout dépends si tu veux juste utiliser ton disque pour un seul montage ou plusieurs.
Aussi tu peux partitionner tes disque avec 2 partitions  (ou plus) et faire un raid par partition... md5 md6 genre chacune de 4 To

A
1- monter ton seul raid  sur /mnt/md5 puis faire des dossiers /home/e-smith/files, mettre les bon droits
2- mv /home/e-smith/files vers /mnt/md5/home/e-smith/files
3- mount bind /mnt/md5/home/e-smith/files sur /home/e-smith/files dans fstab et mount -a
4- eventuellement ajouter dautres dossier plus tard /mnt/md5/opt/ par exemple et faire 2 à 3 adapté

B
1- monter ton seul raid  sur /mnt/md5
2- mv /home/e-smith/files vers /mnt/md5/home/e-smith/files
3- modifier ton fstab pour que md5 se monte sur /home/e-smith/files

C meme chose que A ou B mais sur ibays ou users (en utilisant A tu peux faire ibays et users)

D meme chose que A ou B mais sur ibays et users (par exemple) mais avec plusieurs partitions sur tes disque raid (md5 md6 md7...)


tous ont des avantages et des inconvenients ... à toi de voir ...
les mounts bind par exemple si tu fais un backup de /, il faut y penser pour eviter de backuper deux fois les données à chaque point de montage.

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #5 on: September 29, 2017, 01:50:03 PM »
Merci.
Bon, je vais faire des essais de RAID cassé pour voir comment ca se passe lors de la reconstrution !
;)

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #6 on: September 29, 2017, 03:58:43 PM »
Je viens de faire une simulation de perte d'un des disques, j'en ai monté un autre, formaté, ajouté au RAID1, resync : OK.
Merci encore, je vais pouvoir faire la machine définitivement.

A terme je mettrai un SSD de 250Go (recyclage) pour le système et les grappes de disques RAID1 (2x8To + 2x3To) pour les archives.
Qu'en pensez vous ?
« Last Edit: September 30, 2017, 01:08:45 AM by STRyk »

Online Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #7 on: October 10, 2017, 10:41:50 PM »
bonne nouvelle!

je ne suis pas certain du gros gain avec un SSD. Le serveur ne redémarre pas souvent. beaucoup de log sont produits et peuvent user rapidement le SSD.

Penserais tu faire une autre grappe RAID sur SSD aussi  ?

je pencherais pour rester vite simple et bien ..

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #8 on: October 11, 2017, 05:04:51 PM »
je ne suis pas certain du gros gain avec un SSD. Le serveur ne redémarre pas souvent. beaucoup de log sont produits et peuvent user rapidement le SSD.

L'idée était de recycler un SSD qui ne serait plus utilisé et de l'utiliser pour le système SME, mais si aucun gain : je laisse tomber.

Penserais tu faire une autre grappe RAID sur SSD aussi  ?

Je pense mettre un HD (en RAID1 ou un disque simple) pour le système et les grappes RAID1 : 2x8To + 2x3To pour les archives montés sur les user "Video-archive" (2x8To RAID1) et "Audio-archive" (2x3To RAID1).
Qu'en penses tu ?
Merci ;)
« Last Edit: October 11, 2017, 05:06:41 PM by STRyk »

Online Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #9 on: October 11, 2017, 05:45:24 PM »
L'idée était de recycler un SSD qui ne serait plus utilisé et de l'utiliser pour le système SME, mais si aucun gain : je laisse tomber.

j'ai pas dit pas de changement. Juste rien de trop significatif pour un serveur qui est up tout le temps et qui ne fait que lire des fichiers sur les autres disques et les servir via samba ou http.

Je pense mettre un HD (en RAID1 ou un disque simple) pour le système et les grappes RAID1 : 2x8To + 2x3To pour les archives montés sur les user "Video-archive" (2x8To RAID1) et "Audio-archive" (2x3To RAID1).
Qu'en penses tu ?
Merci ;)

c'est possible. est tu sur de l'Esperance de vie de ton SSD recyclé? Dans 250GB, vas tu avoir assez de place pour systeme, log  et fichier users et ibays qui seront pas sur les 2 autres grappes ?

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #10 on: October 11, 2017, 06:15:45 PM »
Dans 250GB, vas tu avoir assez de place pour systeme, log  et fichier users et ibays qui seront pas sur les 2 autres grappes ?
Les users seront sur les 8To et 3To. Il n'y aura que 2 users, je suis le seul user au final...
Le système ne sera QUE sur un HD et les archives sur les grappes 8 et 3To.

Online Jean-Philippe Pialasse

  • *
  • 2,747
  • +11/-0
  • aka Unnilennium
    • http://smeserver.pialasse.com
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #11 on: October 11, 2017, 06:32:20 PM »
alors je dirais go. installe sur ton SSD si tu es sur qu'il est durable. L'avantage c'est que ton systeme est independant detes données utilisateurs (exception faite descontribs et autre choses dans opt et var.

Offline STRyk

  • ****
  • 190
  • +0/-0
Re: SME 9.2 X64 ajouter une grappe RAID et la formater...
« Reply #12 on: October 11, 2017, 06:38:09 PM »
Oui, c'est dans cette idée que je partais.
Même si le HD du système tombe (problème matériel ou autre), j'en remet un autre et refait la config facilement et rebranche les grappes RAID1.
Merci pour tout ce que tu fais pour nous (aides & avis).
Linux SME est une solution très sympa pour ceux qui veulent une solution robuste, simple, malléable et surtout peu couteuse !
A bientôt pour de nouveaux problèmes !!  :lol:

;)