23.02.2016 13:49
[#1]
Archiwizowanie dużej liczby plików
Mam taki problem.
1. W folderze znajduje się około 30000 plików (różnych, o różnym wzorcu nazwy) zajmujące razem 5 GB. Zadanie polega na ich wysłaniu na serwer, który posiada ograniczoną jednorazową pojemność operacyjną i przetwarzania 500 MB.
2. Wybieramy przybliżoną liczbę plików (np. 3000) i je pakujemy (np. ZIP, 7z, RAR - bez znaczenia). Tworzy się paczka o rozmiarze około 500 MB, która jest wrzucana na serwer, a tam rozpakowywana i procesowana. Później robimy to z kolejnymi plikami itd. W efekcie trzeba wykonać czynność około 10 razy.
Czy macie pomysł jak to zautomatyzować? Zaznaczam od razu, że odpada zaznaczenie wszystkich i stworzenie archiwum multipart, gdyż przez rozpoczęciem pracy serwer musi wszystkie archiwa połączyć, a tego nie zrobi.
1. W folderze znajduje się około 30000 plików (różnych, o różnym wzorcu nazwy) zajmujące razem 5 GB. Zadanie polega na ich wysłaniu na serwer, który posiada ograniczoną jednorazową pojemność operacyjną i przetwarzania 500 MB.
2. Wybieramy przybliżoną liczbę plików (np. 3000) i je pakujemy (np. ZIP, 7z, RAR - bez znaczenia). Tworzy się paczka o rozmiarze około 500 MB, która jest wrzucana na serwer, a tam rozpakowywana i procesowana. Później robimy to z kolejnymi plikami itd. W efekcie trzeba wykonać czynność około 10 razy.
Czy macie pomysł jak to zautomatyzować? Zaznaczam od razu, że odpada zaznaczenie wszystkich i stworzenie archiwum multipart, gdyż przez rozpoczęciem pracy serwer musi wszystkie archiwa połączyć, a tego nie zrobi.
23.02.2016 14:11
[#3]
Re: Archiwizowanie dużej liczby plików
@mailman, post #1
Pełna automatyzacja to chyba tylko pod Magellanem, którego ARexx pozwala na zaznaczanie plików w listerze. Z tym, że samo napisanie skryptu zajmie więcej czasu niż ręczne przerzucenie IMHO.
Najprościej bym chyba to zrobił tak:
1. tworzę np. partycję o wielkości minimum 500MB (jeżeli wszystkie pliki tego samego typu i o tym samym stopniu kompresji to może być większa, uwzględniwszy właśnie późniejszą kompresję),
2. Zaznaczam WSZYSTKIE pliki w katalogu źródłowym, i klikam na PRZENIEŚ do partycji roboczej.
3. Partycja się zapełnia, na sam koniec pokaże że "Volume Empty is full", wtedy przerywamy przenoszenie.
4. Kompresujemy zawartość partycji roboczej, wysyłamy na serwer.
5. GOTO punkt 2.
I tak 10 razy....
Najprościej bym chyba to zrobił tak:
1. tworzę np. partycję o wielkości minimum 500MB (jeżeli wszystkie pliki tego samego typu i o tym samym stopniu kompresji to może być większa, uwzględniwszy właśnie późniejszą kompresję),
2. Zaznaczam WSZYSTKIE pliki w katalogu źródłowym, i klikam na PRZENIEŚ do partycji roboczej.
3. Partycja się zapełnia, na sam koniec pokaże że "Volume Empty is full", wtedy przerywamy przenoszenie.
4. Kompresujemy zawartość partycji roboczej, wysyłamy na serwer.
5. GOTO punkt 2.
I tak 10 razy....