Koozali.org: home of the SME Server

mdadm e raid 5

Offline ello

  • ****
  • 153
  • +0/-0
mdadm e raid 5
« on: May 11, 2018, 09:27:21 AM »
buongiorno
avendo problemi con capacità disco rigido, ho aggiunto un nuovo disco e seguendo il wiki ho modificato l' array in raid 5.
teoricamente è andato tutto liscio, ma non ho ottenuto il risultato sperato.
mi ritrovo in questa situazione :
tail -f /var/log/messages

"May 11 09:22:06 sme kernel: EDAC MC0: CE page 0x12bc, offset 0x680, grain 128, syndrome 0xd0, row 0, channel 0, label "": i3000 CE"
il log si aggiorna ogni secondo
cat /proc/mdstat
"Personalities : [raid1] [raid6] [raid5] [raid4]
md127 : active (auto-read-only) raid5 sdb[2] sda2[3]
      4028416 blocks super 1.2 level 5, 256k chunk, algorithm 2 [3/2] [_UU]

md0 : active raid1 sdc1[2] sda1[0]
      255936 blocks super 1.0 [2/2] [UU]

md1 : active raid1 sdc2[2]
      487998464 blocks super 1.1 [2/1] [_U]
      bitmap: 4/4 pages [16KB], 65536KB chunk"

qualsiasi aiuto è gradito


Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: mdadm e raid 5
« Reply #1 on: May 11, 2018, 01:39:43 PM »
1. Hai un buon backup di tutti i tuoi dati? Potresti averne bisogno ...

2. Qual era la disposizione del disco PRIMA di iniziare?

3.  Da questo aspetto i tuoi RAID sono in disordine.


md127: attivo (auto-sola lettura) raid5 sdb [2] sda2 [3]
      4028416 blocca super 1.2 livello 5, 256k blocco, algoritmo 2 [3/2] [_UU]

Il tuo Raid 5 manca una partizione - dovrebbe essere [UUU]


md1: active raid1 sdc2 [2]
      487998464 blocks super 1.1 [2/1] [_U]

Il tuo RAID 1 non ha un partiton - dovrebbe essere [UU]

Probabilmente era sda2, ma viene usato sul tuo RAID 5 .....

Tuttavia, poiché non so quante unità hai, è difficile dirlo.

Penso che tu abbia solo tre unità. Ma stai cercando di condividerli tra RAID 1 e RAID 5.

Penso che molto probabilmente la soluzione migliore sia ricominciare da capo con le unità, configurare correttamente il RAID e ripristinare i dati.

Ti suggerirei anche di non eseguire un RAID 5 a 3 unità, soprattutto se disponi di unità a capacità elevata.

Le possibilità di fallimento di una seconda unità mentre il RAID è in fase di ricostruzione sono alte e puoi facilmente perdere tutti i tuoi dati.


-----------------


1. Have you got a good backup of all your data ? You may need it...

2. What was the disk arrangement BEFORE you started?

3. From the looks of this your RAIDs are in a mess.


md127 : active (auto-read-only) raid5 sdb[2] sda2[3]
      4028416 blocks super 1.2 level 5, 256k chunk, algorithm 2 [3/2] [_UU]

Your Raid 5 is missing a partition - it should be [UUU]


md1 : active raid1 sdc2[2]
      487998464 blocks super 1.1 [2/1] [_U]

Your RAID 1 is missing a partiton - it should be [UU]

It probably was sda2, but that is being used on your RAID 5.....

However, as I don't know how many drives you have it is difficult to tell.

I think you only have three drives. But you are trying to share them betweeen RAID 1 and RAID 5.

I think that most likely you best solution is to start again with your drives, setup your RAID correctly, and then restore your data.

I would also suggest that you do not run a 3 drive RAID 5, especially if you have large capacity drives.

The chances of failure of a second drive while the RAID is rebuilding is high and you can easily lose all your data.
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation

Offline Stefano

  • *
  • 10,836
  • +2/-0
Re: mdadm e raid 5
« Reply #2 on: May 11, 2018, 03:50:37 PM »
buongiorno
avendo problemi con capacità disco rigido, ho aggiunto un nuovo disco e seguendo il wiki ho modificato l' array in raid 5.

che wiki? sei passato da raid1 a raid5?

Quote
teoricamente è andato tutto liscio, ma non ho ottenuto il risultato sperato.
mi ritrovo in questa situazione :
tail -f /var/log/messages

"May 11 09:22:06 sme kernel: EDAC MC0: CE page 0x12bc, offset 0x680, grain 128, syndrome 0xd0, row 0, channel 0, label "": i3000 CE"
il log si aggiorna ogni secondo

questo è un altro paio di maniche.. mettendo il messaggio di errore in google, primo risultato:
https://bugzilla.redhat.com/show_bug.cgi?id=220530
leggo:
Quote
that's actually EDAC doing exactly what its supposed to be doing. Its
telling you that one of your DIMMs is constantly hitting uncorrectable errors.
In other words, you have some memory that has gone bad and should be replaced
(because uncorrectable errors can lead to data corruption).

le tue ram sono ECC? in ogni caso fermerei la macchina e farei un memtest.

Quote

cat /proc/mdstat
"Personalities : [raid1] [raid6] [raid5] [raid4]
md127 : active (auto-read-only) raid5 sdb[2] sda2[3]
      4028416 blocks super 1.2 level 5, 256k chunk, algorithm 2 [3/2] [_UU]

md0 : active raid1 sdc1[2] sda1[0]
      255936 blocks super 1.0 [2/2] [UU]

md1 : active raid1 sdc2[2]
      487998464 blocks super 1.1 [2/1] [_U]
      bitmap: 4/4 pages [16KB], 65536KB chunk"

qualsiasi aiuto è gradito



pare che nulla sia andato liscio :-)

prima di tutto.. la procedura per la migrazione da raid1 a raid5 l'ho scritta io eoni fa.. magari non è aggiornata/più valida..
domanda: prima di farlo sul server di produzione hai provato a farlo su una VM di test? (bastano 3 dischi virtuali dinamici da 10 GB)

come detto da John/Reetp, spero tu abbia un buon backup e, ad essere sincero, se fosse farei una installazione da 0 su raid5 e poi restore dei dati (sempre che il server non sia una macchina di test)

P.S. raid5 con 3 dischi no buono.. piuttosto 3 dischi nuovi più grossi, raid1 + spare

Offline ello

  • ****
  • 153
  • +0/-0
Re: mdadm e raid 5
« Reply #3 on: May 11, 2018, 03:56:59 PM »
la disposizione prima di partiere era

md1: active raid1 sdc2 [2] sda2

      487998464 blocks super 1.1 [2/2] [UU]
ho tre unità, come già specificato in precedenza ho seguito il wiki su contribs per passare da raid 1 a raid 5, come prima operazione ho aggiunto una quarta unità configurata come spare il quale dopo averlo sincronizzato ho provato a far partire il sistema da quest'ultimo per essere sicuro di avere un disco perfettamente funzionante da risistemare in caso di server fault. infine ho effettuato passo passo le istruzioni del wiki, in system rescue ho trasformato il raid 1 in raid 5 con solo due dischi, ho fatto riconoscere da mdadm la terza unita e ho lanciato il grow per la sincronizzazione del terzo disco e avere l'unita logica configurata come raid 5 e teoricamente perfettament funzionante. Ho fatto ripartire il sistema e la situazione era quella che ho postato questa mattina, cioè con due mezzi raid Comunque le unità non sono di elevata capacità sono da 500GB

Offline Stefano

  • *
  • 10,836
  • +2/-0
Re: mdadm e raid 5
« Reply #4 on: May 11, 2018, 04:24:28 PM »
la disposizione prima di partiere era

md1: active raid1 sdc2 [2] sda2
      487998464 blocks super 1.1 [2/2] [UU]
ho tre unità, come già specificato in precedenza ho seguito il wiki su contribs per passare da raid 1 a raid 5, come prima operazione ho aggiunto una quarta unità configurata come spare il quale dopo averlo sincronizzato ho provato a far partire il sistema da quest'ultimo per essere sicuro di avere un disco perfettamente funzionante da risistemare in caso di server fault. infine ho effettuato passo passo le istruzioni del wiki, in system rescue ho trasformato il raid 1 in raid 5 con solo due dischi, ho fatto riconoscere da mdadm la terza unita e ho lanciato il grow per la sincronizzazione del terzo disco e avere l'unita logica configurata come raid 5 e teoricamente perfettament funzionante. Ho fatto ripartire il sistema e la situazione era quella che ho postato questa mattina, cioè con due mezzi raid Comunque le unità non sono di elevata capacità sono da 500GB

ok, quindi..
- avevi 2 dischi in raid1
- hai aggiunto 1 disco segnandolo come spare..
- dici di averlo sincronizzato, ma da quanto so lo SPARE non è sincronizzato, è li che attende un fail per essere aggiunto
- hai quindi un ulteriore disco che hai aggiunto per la creazione del raid5

domanda 1: i dischi di sistema, raid1 ok, erano sda e sdb?
domanda 2: il disco spare sul quale hai "sincronizzato" era il disco sdc?
domanda 3: quando hai inserito il quarto disco (teoricamente sdd) hai rimosso sdc?
domanda 4: su quali dischi hai creato il raid 5? intendo dire.. che dischi avevi a bordo? teoricamente dovevano essere sda e sdb.. erano loro?
domanda 5: hai verificato il superblock? su una macchina SME9.2 fisica io ho

Code: [Select]
[root@fileserver ~]# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.0
  Creation Time : Fri Jun  6 02:08:31 2014
     Raid Level : raid1
     Array Size : 255936 (249.94 MiB 262.08 MB)
  Used Dev Size : 255936 (249.94 MiB 262.08 MB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Sun May  6 01:00:06 2018
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : localhost.localdomain:0
           UUID : 8500cae9:87b6b2cc:c90cf96b:62eec5d4
         Events : 457

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1

come puoi vedere la versione è 1, non 0.9.. tu hai proceduto in modo acconcio?

domanda 6: cosa dice il tuo /etc/mdadm.conf?
sulla stessa macchina di cui sopra io leggo:
Code: [Select]
[root@fileserver ~]# cat /etc/mdadm.conf
# mdadm.conf written out by anaconda
MAILADDR root
AUTO +imsm +1.x -all
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=8500cae9:87b6b2cc:c90cf96b:62eec5d4
ARRAY /dev/md1 level=raid1 num-devices=2 UUID=f4a81b51:3f976384:cda18f88:987d631a

puoi postare il tuo?

fuori da ogni polemica, spero tu abbia un backup valido.. alcune procedure presenti nel wiki (e tutto quanto ha a che fare con dischi, RAID ecc soprattutto) possono avere effetti letali sulla tua macchina.. vista la possibilità di testare ormai tutto con la virtualizzazione (basta un portatile), mai, Mai, MAI fare operazioni di questo genere in produzione senza aver prima testato. 

Offline ello

  • ****
  • 153
  • +0/-0
Re: mdadm e raid 5
« Reply #5 on: May 12, 2018, 10:08:52 AM »
buongiorno
oggi è sabato e l'ufficio non funziona.
praticamente ho risolto. seguendo fedelmente il wiki non ho preso in considerazione il fatto che potesse essere vecchio, ho rifatto l'intera procedura omettendo il parametro -c che sul wiki è impostato a 256 ora la situazione è questa:

#cat /proc/mdstat
md0 : active raid1 sdb1[1] sdc1[2] sda1[0]
      255936 blocks super 1.0 [3/3] [UUU]
        resync=DELAYED

md1 : active raid5 sdc2[3] sdb2[1] sda2[0]
      975996928 blocks super 1.1 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
      [=>...................]  recovery =  8.4% (41267284/487998464) finish=1953.8min speed=3810K/sec
      bitmap: 4/4 pages [16KB], 65536KB chunk

unused devices: <none>

#mdadm --detail /dev/md1
/dev/md1:
        Version : 1.1
  Creation Time : Sat May 12 09:11:24 2018
     Raid Level : raid5
     Array Size : 975996928 (930.78 GiB 999.42 GB)
  Used Dev Size : 487998464 (465.39 GiB 499.71 GB)
   Raid Devices : 3
  Total Devices : 3
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Sat May 12 10:04:33 2018
          State : active, degraded, recovering
 Active Devices : 2
Working Devices : 3
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 8% complete

           Name : localhost.localdomain:1
           UUID : 985284e2:5136794a:dc342d3c:f6be2534
         Events : 1543

    Number   Major   Minor   RaidDevice State
       0       8        2        0      active sync   /dev/sda2
       1       8       18        1      active sync   /dev/sdb2
       3       8       34        2      spare rebuilding   /dev/sdc2

ti ringrazio per avermi fatto ragionare così ho studiato come far funzionare il tutto.

Offline Stefano

  • *
  • 10,836
  • +2/-0
Re: mdadm e raid 5
« Reply #6 on: May 12, 2018, 11:50:31 AM »
Felice tu abbia risolto
Se hai notato delle discrepanze, modifica il wiki, grazie

Offline ReetP

  • *
  • 3,722
  • +5/-0
Re: mdadm e raid 5
« Reply #7 on: May 12, 2018, 01:18:21 PM »
N.B.

"P.S. raid5 con 3 dischi no buono.. piuttosto 3 dischi nuovi più grossi, raid1 + spare"


3 dischi in RAID 5 sono MOLTO pericolosi con un alto rischio di perdita di dati.

Stai molto attento e fai dei buoni backup.......
...
1. Read the Manual
2. Read the Wiki
3. Don't ask for support on Unsupported versions of software
4. I have a job, wife, and kids and do this in my spare time. If you want something fixed, please help.

Bugs are easier than you think: http://wiki.contribs.org/Bugzilla_Help

If you love SME and don't want to lose it, join in: http://wiki.contribs.org/Koozali_Foundation