Diskové pole clusteru má celkovou kapacitu 5.8T určenou převážně pro data všech uživatelů karlínské počítačové sítě. Tato data jsou každý den zálohována pro případ poruchy diskového pole.

Současné využití jeho kapacity dosahuje 90% a značnou část dat tvoří výsledky výpočtů uživatelů clusteru.

Zde je několik zásad jak zacházet s vlastními daty, tak aby byl zachován efektivní výkon diskového pole a aby nebyl přetěžován zálohovací mechanismus:

  • Byl zřízen nový diskový prostor určený pro datově náročnější výpočty. Každý uživatel má mimo své domácí složky /usr/users/vas_login nyní k dispozici složku /usr/nobackup/vas_login.
    • Tato složka je přístupná na /usr/nobackup/vas_login.
    • Data v této složce nejsou zálohována.
    • Tento prostor je určen pro ukládání dat z výpočtů.
    • Díky tomu, že jde o fyzicky jiný disk než je vaše domácí složka, nemělo by při jeho použití docházet k výraznému snížení rychlosti zápisu v nočních hodinách - t.j. v době zálohování.
    • Naopak kopírování souborů mezi /usr/users a /usr/nobackup může být pomalejší díky tomu že data putují z disku na disk. Proto případné větší přesuny dat provádějte postupně.
  • Soubor ve vaší domácí složce ~/.nobackup.txt obsahuje seznam složek, které není nutné zálohovat. Editací tohoto souboru v libovolném textovém editoru můžete přidat vlastní složky, které nepotřebujete centrálně zálohovat. Zde doporučujeme vyvořit např. složku ~/Work ve které budete provádět výpočty a ukládat tam data výsledků a tuto složku zahrnete do seznamu ~/Work
    r0:~>cat .nobackup.txt 
    # Seznam adresaru a souboru (relativni cesta vuci domovskemu adresari),
    # ktere se NEBUDOU ZALOHOVAT pres rsync.
    ~/Mail/spam*
    
    # nezalohovat celou slozku ~/Work
    ~/Work
    
    # nezalohovat soubory *.vtu kdekoliv pod slozkou ~/Data 
    ~/Data/**/*.vtu
  • Z technických důvodů daných souborovým systémem používaném na diskovém poli je důležité omezit počet soborů v jedné složce na maximálně cca. 10000 souborů. Příkazem ls -shd Work/vypocet1 zjistíte velikost složky, která nezávisí na velikosti souborů v ní, ale čistě na počtu souborů.
    r0:~>ls -shd Work/drivencav
    264K Work/drivencav

    Tato velikost (zde 264K) by neměla překročit 1M.

  • Mazat nepotřebné soubory! - platí hlavně pro výsledky výpočtů, ktere víte že už nepotřebujete
  • Komprimovat soubory/složky s výsledky výpočtů:
    mám-li složku ~/Work/fenics/results a v ní soubory z časového výpočtu pak příkazem du -s -h ~/Work/fenics/results zjistím její velikost:

    r0:~/Work/fenics> du -s -h results/
    196M	results/

    pokud potřebuji výsledky uchovat pro pozdější zpracování provedu komprimaci následovně:

    r0:~/Work/fenics> tar -cvzf results.tar.gz results
    r0:~/Work/fenics> du -s -h results.tar.gz
    58M results.tar.gz

    při použití lepšího, ale pomalejšího kompresního algoritmu

    r0:~/Work/fenics> tar -cvJf results.tar.xz results
    r0:~/Work/fenics> du -s -h results.tar.xz
    11M results.tar.xz

    nakonec je třeba smazat původní data

    r0:~/Work/fenics> rm -r results

    Data mohu kdykoliv obnovit příkazem tar -xvzf results.tar.gz nebo tar -xvJf results.tar.xz

  • Užitečný příkaz pro vypsání obsahu složky setříděného podle toho kolik místa na disku zabírají všechny soubory a její podsložky:
    r0:~/Work> du -s -k * | sort -n
    8	guess_id
    16	Globals.mk
    5004	bender
    35532	bender_pressure
    100108	bingham_ale
    113976	git_repo
    117500	implicit
    649780	fenics