W tym artykule opiszemy odzyskiwanie danych z macierzy RAID 50 SAN iSCSI Dell Equallogic PS6100 składającej się z 15 dysków 2 TB. Jest to doskonały przykład jak przez brak nadzoru i konserwacji można doprowadzić do utraty danych nawet w systemie, który jest bardzo odporny na awarie.

Equallogic to sieciowy system magazynowania danych SAN (Storage Area Network), który ma wiele zabezpieczeń na wypadek awarii:

• 2 Redunantne zasilacze dużej mocy
• 2 moduły kontrolera macierzy
• Konfiguracja macierzy RAID 6, RAID 50, RAID 10 zawsze wymusza dodatkowe dyski SPARE, których zadaniem jest przejąć pracę dysków które aktualnie ulegają zużyciu lub awarii.

Tak naprawdę przy odrobinie nadzoru i wymianie uszkodzonych dysków na czas urządzenia te są praktycznie bezawaryjne.

Niestety w razie awarii są one niezwykle kłopotliwe jeśli chodzi o odzyskiwanie danych.

Macierz Dell Equallogic, która trafiła w nasze ręce przeszła dość dużo jeśli można to tak delikatnie nazwać. Początkowo jej konfiguracja składała się z 12 dysków SAS 2TB firmy Toshiba, które z czasem zaczęły się uszkadzać. Dołożono wówczas do macierzy 3 dodatkowe dyski SAS Seagate, którymi macierz automatycznie zastępowała uszkodzone dyski Toshiba. W miarę upływu czasu kolejne dyski zaczęły się uszkadzać, a maczierz RAID 50 przeszła w stan corrupted (uszkodzona) i pracowała tak do czasu aż kolejne dyski uległy awarii i macierz nie miała już szans na pracę.

Do macierzy został wezwany support firmy Dell ale próbując uruchomić macierz na uszkodzonych dyskach, chyba tylko pogorszono sprawę. Macierzy oczywiście nie udało się uruchomić.

Niestety, po awarii macierzy RAID często podejmowane są próby ich naprawy czy rekonstrukcji i to nie tylko w Dell -u. Jest to podstawowy błąd, ale wielu informatyków i tak idzie w tym zakresie na łatwiznę, podejmując próby synchronizacji, wymiany tylko części dysków i inne mniej lub bardziej karkołomne wyczyny.

Gdy macierz trafiła w nasze ręce okazało się że 12 z 15 dysków jest uszkodzonych, a 6 z tych uszkodzonych dysków jest naprawdę w złym stanie. I tu zaczęła się prawdziwa ponad 2 miesięczna walka o odzyskanie danych.

Macierze RADI dell Equallogic są przeważnie wykorzystywane do przechowywania i uruchamiania na nich maszyn wirtualnych z różnymi systemami i tak było też w tym przypadku. Łącznie na macierzy było uruchomionych 8 maszyn wirtualnych oraz znajdowały się na niej 4 woluminy z danymi.

Dell Equallogic ma również wewnętrzny system plików FluidFS, który na bieżąco dba o bezpieczeństwo danych oraz balansuje zużycie dysków twardych, co niestety w procesie odzyskiwania danych jest dużym kłopotem, ponieważ dane są bardzo rozproszone po wszystkich dyskach.

Pierwszym etapem z jakim przyszło nam się uporać było zabezpieczenie kopii zapasowych wszystkich dysków macierzy RAID 50. Trwało to ponad 1,5 miesiąca ponieważ dyski był naprawdę w złej kondycji.

RAID 50 to połączenie dwóch macierzy RAID 5 za pomocą RAID 0, tak więc kolejnym etapem było ustalenie, które dyski, należą do której macierzy

Następnym problemem, z którym musieliśmy się zmierzyć to, które z dysków należą jeszcze do macierzy, a które z niej już dawno wypadły co naprawdę nie było łatwe

Następny problem, który stanął na drodze do odzyskania danych było przypisanie dysków do odpowiednich macierzy RAID 5, co również nie było łatwe

Po ustaleniu wszystkich parametrów przyszła pora na rekonstrukcję macierzy i zmierzenie się z systemem plików Dell Equallogic. To były kolejne 2 tygodnie ciężkiej pracy, które ostatecznie zakończyły się pełnym sukcesem i odzyskaniem danych ze wszystkich woluminów.

W między czasie musieliśmy jeszcze uporać się usunięciem błędnie zrekonstruowanych bloków macierzy podczas prac supportu Dell -a

Podsumowując ten przypadek musimy przyznać, że było to jedno z najtrudniejszych zleceń jakie mieliśmy. W nasze ręce często trafiają duże macierze RAID składające się nawet z 24, 36, lub 72 dysków.  Często zdarza się, że kilka dysków jest uszkodzonych lub wykazujących problemy ale w tym przypadku 12 z 15 dysków było uszkodzonych.

Duże macierze RAID zawsze wymagają dużej ilości pracy w procesie odzyskiwania danych, oraz dużych pojemności na kopie dysków i dane klientów. Nasze laboratorium dysponuje szerokim zapleczem, które pozwala nam na odzyskiwanie danych nawet w najtrudniejszych przypadkach.

Dell Equallogic to wyjątkowy system i naprawdę bardzo odporny na awarie. Wewnętrzny system kopii zapasowych dodatkowo pozwala zabezpieczyć się w bieżących awariach. Niemniej jednak jak pokazuje ta sytuacja warto zawsze posiadać zewnętrzny system kopi zapasowych. Inwestując w tak rozbudowany system warto zainwestować również w system kopii zapasowych.