21.03.2010 13:54
[#1]
Dziwne wczytywanie danych
W c++ ver. 4.4.3 używam następujących operacji do wczytania pliku:
void wczytaj (string sNazwa)
{
cout <<"1:" << endl;
fstream plik_odczyt;
cout <<" 1 koniec" << endl;
cout <<"2:" << endl;
plik_odczyt.open ((sNazwa.c_str()),ios::in|ios::binary);
cout <<" 2 koniec" << endl;
cout <<"3:" << endl;
plik_odczyt.seekg (0,ios::end);
cout <<" 3 koniec" << endl;
cout <<"4:" << endl;
i_DlugoscPliku = plik_odczyt.tellg();
cout <<" 4 koniec" << endl;
cout <<"5:" << endl;
pc_Dane = new char [i_DlugoscPliku]; // i_DlugoscPliku zamiast BAJT
cout <<" 5 koniec" << endl;
cout <<"6:" << endl;
plik_odczyt.seekg (0, ios::beg);
cout <<" 6 koniec" << endl;
cout <<"7:" << endl;
plik_odczyt.read (pc_Dane, i_DlugoscPliku); // i_DlugoscPliku zamiast BAJT
cout <<" 7 koniec" << endl;
cout <<"8:" << endl;
plik_odczyt.close ();
cout <<" 8 koniec" << endl;
}
Okazuje się, że niektóre pliki wczytują się dłużej a nie które wolniej. Konkrety otóż mam plik 20 mb wczytuje się około 10 min do pamięci a inny 30,5 mb wczytuje się 6s. - to nie literówa. Po wypunktowaniu operacji okazuje się, że winna jest temu operacja nr 7 plik_odczyt.read (pc_Dane, i_DlugoscPliku);. W czym tkwi przyczyna? Zależy mi na kompatybilności kodu z windows i mos. Wczytuję przy jej pomocy różne pliki wav. Wczytywanie danych do pamięci jest oddzielną funkcją.
void wczytaj (string sNazwa)
{
cout <<"1:" << endl;
fstream plik_odczyt;
cout <<" 1 koniec" << endl;
cout <<"2:" << endl;
plik_odczyt.open ((sNazwa.c_str()),ios::in|ios::binary);
cout <<" 2 koniec" << endl;
cout <<"3:" << endl;
plik_odczyt.seekg (0,ios::end);
cout <<" 3 koniec" << endl;
cout <<"4:" << endl;
i_DlugoscPliku = plik_odczyt.tellg();
cout <<" 4 koniec" << endl;
cout <<"5:" << endl;
pc_Dane = new char [i_DlugoscPliku]; // i_DlugoscPliku zamiast BAJT
cout <<" 5 koniec" << endl;
cout <<"6:" << endl;
plik_odczyt.seekg (0, ios::beg);
cout <<" 6 koniec" << endl;
cout <<"7:" << endl;
plik_odczyt.read (pc_Dane, i_DlugoscPliku); // i_DlugoscPliku zamiast BAJT
cout <<" 7 koniec" << endl;
cout <<"8:" << endl;
plik_odczyt.close ();
cout <<" 8 koniec" << endl;
}
Okazuje się, że niektóre pliki wczytują się dłużej a nie które wolniej. Konkrety otóż mam plik 20 mb wczytuje się około 10 min do pamięci a inny 30,5 mb wczytuje się 6s. - to nie literówa. Po wypunktowaniu operacji okazuje się, że winna jest temu operacja nr 7 plik_odczyt.read (pc_Dane, i_DlugoscPliku);. W czym tkwi przyczyna? Zależy mi na kompatybilności kodu z windows i mos. Wczytuję przy jej pomocy różne pliki wav. Wczytywanie danych do pamięci jest oddzielną funkcją.
22.03.2010 00:27
[#7]
Re: Dziwne wczytywanie danych
@ZED^lM, post #1
A próbowałeś wczytywać mniejszymi blokami do pamięci? Winny może być np alokator pamięci w C++. Nie wiem jak to jest zaimplementowane w gcc, ale najpierw zrobiłbym porównanie przy użyciu statytycznego bufora. Co więcej :
plik_odczyt.read (pc_Dane, i_DlugoscPliku);
nie jest operacją atomową - zobacz co tak naprawdę dzieje się w ramach wywołania read() bo kompilator przesłania tak naprawdę wykonywany kod.
Przyszedł mi do głowy inny test: odczytaj plik za pomocą funkcji open() z stdio.h i porównaj wyniki.
plik_odczyt.read (pc_Dane, i_DlugoscPliku);
nie jest operacją atomową - zobacz co tak naprawdę dzieje się w ramach wywołania read() bo kompilator przesłania tak naprawdę wykonywany kod.
Przyszedł mi do głowy inny test: odczytaj plik za pomocą funkcji open() z stdio.h i porównaj wyniki.
22.03.2010 07:56
[#8]
Re: Dziwne wczytywanie danych
@Marek Szyprowski, post #6
Z tego co pamiętam (nie mam przy boku pegaza) to nie było zasadniczej różnicy jeśli chodzi o czas wczytywania owego pliku. Można powiedzieć, że normalnie się wczytuje. Na obecną chwilę to wszystkie operacje z tym związane robię w ramie. Wczytuję plik do ramu i wtedy uruchamiam program.
22.03.2010 08:11
[#9]
Re: Dziwne wczytywanie danych
@alekc, post #7
Było by zrozumiałe gdyby owy proce przebiegał długo na wszyskich plikach wczytywanych do pamieci. Jeden plik wav zripowany bezpośrednio z płyty wczytuje się około 6s. i ma wielkość 30,5Mb (format wav pcm bez kompresji) a drugi nagrany na mptrójce z opcją nagrywania (format imadpcm nie jestem dokładnie pewien). Jak będe w domu to mogę podać dokładne parametry plików. Wielkość jego i czas wczytywania jak napisałem na samym początku.
Ostatnia modyfikacja: 22.03.2010 08:13:03
Ostatnia modyfikacja: 22.03.2010 08:13:03
22.03.2010 13:52
[#10]
Re: Dziwne wczytywanie danych
@ZED^lM, post #9
Wszystko zależy od algorytmu alokacji pamięci dla operacji. Jeśli jest niewydajny dla konkretnych przypadków to właśnie może być przyczyna. Co prawda wątpię żeby taki problem był w gcc, więc teoretycznie winnym może być system operacyjny.
Nie robiłem nigdy testów dla żadnego systemu ale biorąc pod uwagę że w AOS 4.x pojawił się alokator płytkowy to w tym przypadku winny nie powinien być system operacyjny. W przypadku innych systemów: nie wiem. Naprawdę jednak spróbował bym odczytać plik z pomocą stałego bufora i porównać wyniki.
Nie robiłem nigdy testów dla żadnego systemu ale biorąc pod uwagę że w AOS 4.x pojawił się alokator płytkowy to w tym przypadku winny nie powinien być system operacyjny. W przypadku innych systemów: nie wiem. Naprawdę jednak spróbował bym odczytać plik z pomocą stałego bufora i porównać wyniki.