30.05 13:01
[#1]
IFFChunkTool
Tytułowy program to moja kontrybucja do konkursu Amiga 40 Tools Jam 2025. Pierwsza, ale być może nie jedyna. Program powstał z potrzeby i jest małą pchełką. Mam nieco bardziej ambitny projekt na ten konkurs, ale nie wiem, czy się z nim wyrobię. A ponieważ zgodnie z zasadami konkursu można zgłosić więcej niż jedną pracę, asekuracyjnie zglaszam na razie IFFChunkTool. 
Do czego to w ogóle służy? Z plikami IFF zetknął się pewnie każdy amigowiec, z tym, że części z nas mogą się kojarzyć wyłącznie z obrazkami. IFF natomiast to kontener, czyli sposób uporządkowanego przechowywania danych, w blokach zwanych chunkami. IFF może przechowywać zarówno obrazki (IFF ILBM), dźwięki (IFF 8SVX, AIFF), grafikę wektorową (IFF DR2D), teksty (IFF FTXT) i wiele innych. Na przykład pliki zawierające tłumaczenia tekstów do programów (potocznie zwane "lokalami") to również pliki IFF.
IFFChunkTool służy do manipulowania plikami IFF. Jest to polecenie AmigaDOS, czyli operujemy nim z okna poleceń CLI. Pisałem go z myślą do zautomatyzowanego użycia w różnego rodzaju skryptach, ale można też operować ręcznie, chociaż do tego są ZTCP narzędzia z GUI.
Co to potrafi, czy raczej ma potrafić, bo dostępna wersja 0.1 ograniczona jest do dwóch pierwszych z poniższych opcji:
Być może jeszcze zdążę dorobić działanie na wielu plikach, plik źródłowy będzie mógł być wzorcem AmigaDOS. Na przykład "obrazki/#?.ilbm".
Program oczywiście będzie darmowy, z otwartymi źródłami na GitHubie. Domyślam się, że IFFChunkTool będzie miał raczej wąski krąg odbiorców, no ale mi się na pewno przyda.
Do czego to w ogóle służy? Z plikami IFF zetknął się pewnie każdy amigowiec, z tym, że części z nas mogą się kojarzyć wyłącznie z obrazkami. IFF natomiast to kontener, czyli sposób uporządkowanego przechowywania danych, w blokach zwanych chunkami. IFF może przechowywać zarówno obrazki (IFF ILBM), dźwięki (IFF 8SVX, AIFF), grafikę wektorową (IFF DR2D), teksty (IFF FTXT) i wiele innych. Na przykład pliki zawierające tłumaczenia tekstów do programów (potocznie zwane "lokalami") to również pliki IFF.
IFFChunkTool służy do manipulowania plikami IFF. Jest to polecenie AmigaDOS, czyli operujemy nim z okna poleceń CLI. Pisałem go z myślą do zautomatyzowanego użycia w różnego rodzaju skryptach, ale można też operować ręcznie, chociaż do tego są ZTCP narzędzia z GUI.
Co to potrafi, czy raczej ma potrafić, bo dostępna wersja 0.1 ograniczona jest do dwóch pierwszych z poniższych opcji:
- Wylistowanie wszystkich chunków w pliku wraz z ich długościami.
- Zapisanie zawartości wybranego chunka do pliku.
- Wylistowanie zawartości chunka (tzw. hexdump) w wybranym formacie.
- Wstawienie chunka w wybranym miejscu, przy czym dane mogą być wczytane z pliku, albo podane bezpośrednio jako argument (krótkie chunki zawierające tekst).
- Dopisanie chunka na końcu pliku, z danymi jak wyżej.
- Zastąpienie zawartości chunka nową, z pliku lub z argumentu.
- Usunięcie chunka z pliku.
Być może jeszcze zdążę dorobić działanie na wielu plikach, plik źródłowy będzie mógł być wzorcem AmigaDOS. Na przykład "obrazki/#?.ilbm".
Program oczywiście będzie darmowy, z otwartymi źródłami na GitHubie. Domyślam się, że IFFChunkTool będzie miał raczej wąski krąg odbiorców, no ale mi się na pewno przyda.
30.05 13:24
[#3]
Re: IFFChunkTool
@ppill, post #2
Dokładnie tak. Jeżeli zaimplementuję wszystko co planuję, to tak to będzie wyglądać. Przykładowo, masowa zmiana palety w wielu obrazkach na paletę z obrazka wzorcowego:
Ostatnia aktualizacja: 30.05.2025 13:24:42 przez Krashan
IFFChunkTool obrazek_z_nowa_paleta.ilbm EXTRACT CMAP DATAFILE paleta.bin IFFChunkTool ObrazkiDoGry/#?.ilbm REPLACE CMAP DATAFILE paleta.binMożna jeszcze np. dodać autora obrazków:
IFFChunkTool ObrazkiDoGry/#?.ilbm INSERT AUTH "Gall Anonim"
Ostatnia aktualizacja: 30.05.2025 13:24:42 przez Krashan
30.05 13:31
[#4]
Re: IFFChunkTool
@Krashan, post #1
Brawo. Ja lubię format IFF. Miałem kiedyś pomysł, żeby napisać program, który łączy pliki FORM w listy LIST ze wspólnymi chunkami PROP oraz konkatenacje CAT, na potrzeby moich projektów gier.
Format IFF jest w Amiga OS używany praktycznie wszędzie. Również pliki preferencji to pliki IFF. Wszystkie pliki zapisywane przez Datatypes też są w formacie IFF. Wszystkie pliki schowka clipboard to też pliki IFF.
O localach to akurat nie wiedziałem.
Ostatnia aktualizacja: 30.05.2025 13:31:58 przez Hexmage960
Na przykład pliki zawierające tłumaczenia tekstów do programów (potocznie zwane "lokalami") to również pliki IFF.
Format IFF jest w Amiga OS używany praktycznie wszędzie. Również pliki preferencji to pliki IFF. Wszystkie pliki zapisywane przez Datatypes też są w formacie IFF. Wszystkie pliki schowka clipboard to też pliki IFF.
O localach to akurat nie wiedziałem.
Ostatnia aktualizacja: 30.05.2025 13:31:58 przez Hexmage960
30.05 14:56
[#5]
Re: IFFChunkTool
@Hexmage960, post #4
Miałem kiedyś pomysł, żeby napisać program, który łączy pliki FORM w listy LIST ze wspólnymi chunkami PROPTaki program napisałem już wcześniej, nazywa się IFFListMaker. Zastosowałem go do budowania pliku z poziomami do gry Untangle. Ten plik jest właśnie typu IFF LIST.
30.05 15:07
[#6]
Re: IFFChunkTool
@Krashan, post #5
O, bardzo interesująca informacja. Pobrałem Twój program IFFListMaker, może być przydatny.
Akurat ja rozważałem albo polecenie CLI, bądź program z GUI gadtools, gdzie w ListView można by wyświetlać listę (drzewko) chunków.
Interfejs CLI wygląda bardzo fajnie, i może być używany w skryptach.
Akurat ja rozważałem albo polecenie CLI, bądź program z GUI gadtools, gdzie w ListView można by wyświetlać listę (drzewko) chunków.
Interfejs CLI wygląda bardzo fajnie, i może być używany w skryptach.
30.05 15:35
[#8]
Re: IFFChunkTool
@Krashan, post #1
Ty to zawsze masz fajne pomysły. 
A gdy jeszcze bierzesz się za ich realizację to już jest rewelacja. 
Gdy się przeczyta Twój opis to aż się człowiek zastanawia dlaczego coś takiego nie powstało wieki temu jako część dokumentacji IFFa. Przecież to byłaby idealna działająca "ilustracja" specyfikacji formatu, który jest całkiem fajnie zorganizowany i w swoich czasach był całkiem nowatorski. Gdy sobie porównuję IFF z różnymi formatami "z epoki" to one przy IFFie często wyglądają jakby je Mieszko I, a najwiżej Bolesław Chrobry tworzył.
Ja już niezbyt często mam styczność z IFF, ale choćby z ciekawości na pewno się pobawię programem rozbebeszając różne wersje IFFa.
O różnych IFFach zawsze się wiedziało, ale przyznam się, że o IFF FTXT nie wiedziałem. Ciekawe czy dałoby się w to wepchnąć teksty UTF-8, UTF-16.
A gdy jeszcze bierzesz się za ich realizację to już jest rewelacja. Gdy się przeczyta Twój opis to aż się człowiek zastanawia dlaczego coś takiego nie powstało wieki temu jako część dokumentacji IFFa. Przecież to byłaby idealna działająca "ilustracja" specyfikacji formatu, który jest całkiem fajnie zorganizowany i w swoich czasach był całkiem nowatorski. Gdy sobie porównuję IFF z różnymi formatami "z epoki" to one przy IFFie często wyglądają jakby je Mieszko I, a najwiżej Bolesław Chrobry tworzył.
Ja już niezbyt często mam styczność z IFF, ale choćby z ciekawości na pewno się pobawię programem rozbebeszając różne wersje IFFa.
O różnych IFFach zawsze się wiedziało, ale przyznam się, że o IFF FTXT nie wiedziałem.
Ciekawe czy dałoby się w to wepchnąć teksty UTF-8, UTF-16. 30.05 16:48
[#9]
Re: IFFChunkTool
@MDW, post #8
o IFF FTXT nie wiedziałem. Ciekawe czy dałoby się w to wepchnąć teksty UTF-8Dałoby się i gdy pracujesz pod MorphOS-em, to tego używasz. Otóż IFF FTXT to format w jakim tekst przechowuje clipboard.device. W momencie gdy kopiujesz tekst między dwoma różnymi programami, w CLIPS: zapisywany jest IFF FTXT. W MorphOS-ie programy, które pracują w Unikodzie, zapisują dwa chunki. Standardowy chunk CHRS zawiera tekst w "lokalnej stronie kodowej" (zgodny z klasycznym AmigaOS), a po nim następuje chunk UTF8. W ten sposób zachowano wsteczną kompatybilność. Jeżeli program, do którego wklejasz obsługuje unikod, odczytuje chunk UTF8. Jeżeli to jakaś staroć z klasyka, czyta standardowo chunk CHRS, w którym znaki spoza lokalnej strony kodowej program zapisujący clipa zamienił na znaki zapytania. W drugą stronę, gdy kopiujesz tekst w czymś staroamigowym, a wklejasz np. do FlowStudio, to ten ostatni zauważa brak chunka UTF8, czyta CHRS, konwertuje to (przykładowo) ISO-2 na unikod i wkleja gdzie pan użytkownik kazał.
Inna ciekawostka, DigiBooster Pro 2 i DigiBooster 3 używają "prawie IFF-a", niestety nie wiem czemu autorzy dwójki zmienili nagłówek ze standardowego IFF na "swój", a ja już nie chciałem robić trzody i wprowadzać kolejnego formatu, niemalże identycznego z DBM.
Ostatnia aktualizacja: 30.05.2025 17:06:07 przez Krashan
30.05 19:47
[#11]
Re: IFFChunkTool
@Krashan, post #9
Ooo, fajnie to jest zorganizowane! 
Czasem aż przykro się robi, gdy w czasach tych multiplatformowych pseudo-standardów, zapominamy o takich fajnych amigowych rozwiązaniach.
Ciekawostka z DigiBooster 2 też dobra. Zastąpienie nagłówka w formacie DB2 było bardzo dziwne i trochę bez sensu. No ale skoro autorzy dwójki tak skwasili to faktycznie nie bardzo miałeś wybór pisząc DigiBoostera 3. Powrót do czystego IFF-a z punktu widzenia użytkownika rzeczywiście byłby problemem.
Czasem aż przykro się robi, gdy w czasach tych multiplatformowych pseudo-standardów, zapominamy o takich fajnych amigowych rozwiązaniach.Ciekawostka z DigiBooster 2 też dobra. Zastąpienie nagłówka w formacie DB2 było bardzo dziwne i trochę bez sensu. No ale skoro autorzy dwójki tak skwasili to faktycznie nie bardzo miałeś wybór pisząc DigiBoostera 3. Powrót do czystego IFF-a z punktu widzenia użytkownika rzeczywiście byłby problemem.
30.05 22:30
[#13]
Re: IFFChunkTool
@Sventevith, post #12
Czy istnieje systemowa biblioteka do "parsowania" pliku która ma funkcje typu sprawdz rodzaj chunka, daj mi kolejny lub n-ty chunk.Oczywiście, że istnieje, nazywa się iffparse.library i wchodzi w skład AmigaOS chyba od wersji 2.1. IFFChunkTool również z niej korzysta.
09.07 22:12
[#15]
Re: IFFChunkTool
@Krashan, post #1
Pocisnąłem trochę z kodowaniem, czemu dałem wyraz w devlogu na itch.io. Tym, którym się nie chce czytać w języku obcym, względnie użyć translatora, streszczam, że dorobiłem działający tryb DUMP (hexdump zawartości wybranego chunka). Do tego poprzerabiałem kod w taki sposób, żeby uniknąć kilku kopii prawie tego samego w paru miejscach. Gdyż, jak wiadomo, mam hopla na punkcie rozmiaru pliku wykonywalnego. Ciekawe, czy z wszystkim zaplanowanym zmieszcze się w czterech cyfrach (czyli nie więcej niż 9999 bajtów). Na razie jest niecała połowa.
15.07 21:14
[#17]
Re: IFFChunkTool
@Krashan, post #15
Jest wersja 0.2. To bardzo ważna wersja, bo działają wszystkie zaplanowane tryby pracy i program jest stabilny, przynajmniej w typowych sytuacjach (cięższe testy w planach, zapraszam do przyłączenia się). Oczywiście parę drobiazgów jeszcze brakuje, dlatego nie 1.0. Jest też instrukcja w AmigaGuide, dość ważny detal. Na razie tylko po angielsku niestety, ale od czegoś trzeba zacząć.
16.07 23:12
[#19]
Re: IFFChunkTool
@Krashan, post #17
Dobrze idzie to jeszcze zrobiłem dwie rzeczy:
- Jeżeli się podaje nową zawartość chunka jako tekst, to można wstawiać bajty heksadecymalnie, np. "Tekst w\0Adwóch liniach zakończony bajtem zero.\00". W ten sposób można też wprost wstawiać niezbyt długie dane binarne, żeby nie trzeba ich było czytać z oddzielnego pliku.
- Nie trzeba podawać nazwy pliku wynikowego (w tych trybach, które go produkują). Wtedy zostanie zmodyfikowany plik źródłowy. Może być niebezpieczne przy ręcznej zabawie, ale upraszcza użycie w skryptach.
19.07 15:02
[#21]
Re: IFFChunkTool
@Krashan, post #20
Poszła wersja 1.0. Uważam projekt za sfinalizowany w tym sensie, że program ma wszystko, co zaplanowałem (od razu, albo po drodze) i nie ma znanych błędów. Oczywiście to nie zamyka drogi do kolejnych wersji będących poprawkami błędów, wzbogaconych o nowe locale, albo nowe ficzery, o ile pojawią się jakieś pomysły. Niemniej póki co IFFChunkTool wychodzi z okresu intensywnego rozwoju. Wersja 1.0 jest na itch.io, na GitHubie, a wieczorem pewnie wrzucę ją również na Aminet.
Rzecz jasna, po 11 października, gdy zostanie zakończone zbieranie zgłoszeń do Amiga 40 Tools Jam 2025 zapraszam do głosowania na mój projekt. Ale to być może nie jest jedyny mój projekt na ten konkurs...
Czas pokaże.
Rzecz jasna, po 11 października, gdy zostanie zakończone zbieranie zgłoszeń do Amiga 40 Tools Jam 2025 zapraszam do głosowania na mój projekt. Ale to być może nie jest jedyny mój projekt na ten konkurs...
Czas pokaże. 
19.07 21:12
[#23]
Re: IFFChunkTool
@vojo, post #22
Nie wiedziałem, że tak można, kilka takich samych bez wpakowania ich do LIST. Muszę w takim razie przemyśleć jak najsensowniej to rozwiązać z punktu widzenia argumentów. Trochę trzeba będzie nad logiką programu popracować, bo np. REMOVE usunie wszystkie trzy, podobnie jak REPLACE podmieni zawartość wszystkich...
Ostatnia aktualizacja: 19.07.2025 21:18:42 przez Krashan
Ostatnia aktualizacja: 19.07.2025 21:18:42 przez Krashan
20.07 16:32
[#27]
Re: IFFChunkTool
@Krashan, post #26
Powtarzające się chunki to tzw. kolekcje, ale podejrzewam, że kolega o tym wie i używa iffparse.library do skanowania plików IFF.
Ciekawym rozwiązaniem byłby też tryb interaktywny programu, jak DIR, bądź LHA, który przed każdym wystąpieniem chunku pytałby się co z nim zrobić.
Albo nawet lepiej, gdyby wyświetlał najpierw podsumowanie informacji o kolekcjach i dopiero wtedy umożliwił podjęcie decyzji.
Ostatnia aktualizacja: 20.07.2025 16:35:54 przez Hexmage960
Ciekawym rozwiązaniem byłby też tryb interaktywny programu, jak DIR, bądź LHA, który przed każdym wystąpieniem chunku pytałby się co z nim zrobić.
Albo nawet lepiej, gdyby wyświetlał najpierw podsumowanie informacji o kolekcjach i dopiero wtedy umożliwił podjęcie decyzji.
Ostatnia aktualizacja: 20.07.2025 16:35:54 przez Hexmage960
20.07 16:57
[#28]
Re: IFFChunkTool
@Hexmage960, post #27
Powtarzające się chunki to tzw. kolekcjeKolekcje powinny być umieszczone w strukturach 'LIST' albo 'CAT '. Na przykład zbiór poziomów do mojej gry Untangle jest plikiem IFF typu LIST. Powtórzenie chunka o tym samym ID w pliku 'FORM' nie jest kolekcją.
Ciekawym rozwiązaniem byłby też tryb interaktywny programu, jak DIR, bądź LHA, który przed każdym wystąpieniem chunku pytałby się co z nim zrobić.Być może, ale to temat na inny program. I taki program istnieje, jest to IFFMaster16. To spory kombajn napisany pod MUI, też go można użyć do automatyzacji poprzez port ARexxa, ale przeciętnie się nadaje do używania w skryptach, czy makefiles.
20.07 17:09
[#29]
Re: IFFChunkTool
@Krashan, post #28
Kolekcje powinny być umieszczone w strukturach 'LIST' albo 'CAT '. Na przykład zbiór poziomów do mojej gry Untangle jest plikiem IFF typu LIST. Powtórzenie chunka o tym samym ID w pliku 'FORM' nie jest kolekcją.
Mi wydaje się, że jednak kolekcje występują też w plikach FORM.
Poczytałem dokumentację (RKRM), żeby sprawdzić i znalazłem m.in. informację o chunku ILBM CRNG, który może występować wielokrotnie i następne instancje nie nadpisują poprzednich. Jest to wspomniane w dokumentacji do funkcji działających na kolekcjach.
P.S. Unikalną własnością LIST jest z tego co wiem przede wszystkim chunk PROP, który pozwala zdefiniować wspólne cechy FORM w liście.
Ostatnia aktualizacja: 20.07.2025 17:13:32 przez Hexmage960
22.07 22:06
[#30]
Re: IFFChunkTool
@vojo, post #24
I zrobione. We wszystkich trybach, w których to ma znaczenie (czyli wszystkich oprócz APPEND i INSERT bez AFTER) są obsługiwane numery chunków o tych samych ID. Użycie ID bez numeru domyślnie oznacza numer 0, czyli pierwszy chunk o danym ID. Tak to działa w praktyce:
Release wersji 1.1 pewnie do końca tygodnia.
Release wersji 1.1 pewnie do końca tygodnia.