elijah - Pon 15 Kwi, 2013 Temat postu: Masowe odszumianie RAW Witam spotkałem się ostatnio z ciekawym zagadnieniem wsadowego usuwania szumu w RAWach z Nikona. Celem cwiczenia byloby odszumienie duzej ilosci plikow RAW: - zaladowanie plikow NEF - automatyczne odszumienie (idealnie z ustawiona wartoscia graniczna ISO np. na 800, jako ze w katalogu jest iles tam plikow robionych na roznych ISO, od 200 do 1600) - zapisanie plikow ponownie do NEF Ktos wie w jaki sposob mozna to zrobic w automatyczny sposób? hijax_pl - Pon 15 Kwi, 2013 Z powrotem do NEF? lvl3ha - Pon 15 Kwi, 2013 moze o DNG chodzilo?? elijah - Wto 16 Kwi, 2013 zasadniczo chodziło mi o zapis z powrotem do formatu RAW, idealnie z powrotem do nikonowego NEF, choc w zasadzie konwersja do DNG tez wchodzilaby w gre. robilem kiedys takie masowe przetwarzanie dla JPEGow, nie bylo z tym problemu, wiele aplikacji oferuje taka opcje, staram sie dowiedziec jak to mozna zrobic dla RAW, bo aplikacje z ktorych korzystalem tego nie wspieraja. lvl3ha - Wto 16 Kwi, 2013 eee lightroom ??? komor - Wto 16 Kwi, 2013 elijah, zasadniczo formaty RAW (NEF, CR2, itd.) to nie są formaty, do których się z powrotem zapisuje (choć da się taki proceder zaimplementować). Z definicji to ma być surowy zrzut danych z matrycy i toru przetwarzania w aparacie. Po wywołaniu więc zapisujemy do bardziej normalnych formatów typu TIFF, zapis do DNG też będzie oznaczał raczej liniowego TIFF-a, a nie prawdziwy surowy format. Jak już lvl3ha wspomniał powyżej, masowo możesz odszumiać w Lightroomie, ale efekty niekoniecznie będą tak dobre jak w dedykowanych programach do odszumiania. Choć rzeczywiście w aktualnej wersji 4 Lightroom radzi z tym sobie nieźle. hijax_pl - Wto 16 Kwi, 2013 Lightroom nie zapisuje do RAW. RAWy w LR są nienaruszalne. W zasadzie to nie kojarzę programu, który mógłby coś takiego robić. Trochę to by było bez sensu mając na uwadze, że w plikach RAW są dane niedemozaikowane. jaad75 - Wto 16 Kwi, 2013
Usjwo - Wto 16 Kwi, 2013 ale czy zapisuje do "bezstratnego" DNG? Przeciez trzebaby odwrocic demozajkowanie? jaad75 - Wto 16 Kwi, 2013 Usjwo, tak, zapisuje ustawienia w metadanych, nie ruszając informacji samego RAW-a. Usjwo - Wto 16 Kwi, 2013 Czyli rozkłada ponownie na "sensele" RGGB? CZy może robi to jakoś od razu na danych surowych? jak? Jakby nie patrzył to i tak nie dostaniemy tego samego (- szumy) bo algortmy bedą inne komor - Wto 16 Kwi, 2013 Usjwo, jaad75, głuchy telefon.  Jeśli nadal mówimy o Lightroomie to on nie odwraca demozaikowania, tylko zapisuje parametry, z jakimi należy wywołać plik RAW (plus ewentualne korekty miejscowe, zapisane jako lista operacji) i w swojej bazie zapisuje podgląd JPG. Samego RAW-a nigdy nie rusza, a już na pewno nie samych informacji z sensela.
Czyli w kontekście tego wątku: nie zapisuje odszumionego RAW-a, tylko parametry jego odszumiania, które mają być zadane podczas eksportu pliku do TIFF/JPG. jaad75 - Wto 16 Kwi, 2013 Usjwo, przecież obrazek, który widzisz jako podgląd w LR, to tylko przeglądówka z na szybko zdemozaikowanego fragmentu. Dopiero eksport do JPG-a/TIFF-a to moment wykonania właściwego demozaikowania. Możesz jednak zapisać ustawienia suwaków w metadanych (jako instrukcję/przepis wołania RAW-a) w formacie DNG. To jest praktycznie to samo, co sidecary XML zapisywane z innymi formatami RAW. Tak więc w DNG masz surowe dane + przepis na ich obróbkę. W sumie to samo, co w RAW wypluwanym z aparatu, tyle, ze tamten przepis respektowany jest tylko przez dedykowane wołarki, ten natomiast, przez oprogramowanie Adobe. Usjwo - Wto 16 Kwi, 2013
teraz to jasne jak słońce 
lvl3ha - Wto 16 Kwi, 2013 Inaczej mowiac masowo odszumic w LR i exportuj do Tiffa a bedziesz mial cos pomiedzy raw i jpg ( otworzy 99% software na rynku a wiecej mozliwosci pozniejszej edycji niz w malym jpg'u) Tiff z kompresja zip wlaczona zajmuje mniej miejsca na dysku ale odczyt-zapis trwa. Tiff bez kompr. odczyt-zapis szybki pliki ogromne. jak sie pomylilem to pouczyc a nie krzyczec na mnie
paul80 - Nie 21 Kwi, 2013 Temat postu: Re: Masowe odszumianie RAW
To normalna procedura i nie chodzi o zapisanie z powrotem do NEF-a, bo to niemożliwe modyfikować surowe dane i je zapisać w tej samej postaci a zapisanie ustawień odszumiania w pliku NEF za pomocą np.View NX2 i aktualizacja podglądowego jpg-a z tym odszumieniem. W lightroomie można z tego co się orientuję zapisać różne ustawienia odszumiania w zalezności od danego ISO, wtedy najlepiej zapisać to w plikach DNG w ostateczności .XMP. elijah - Wto 30 Kwi, 2013 Dzięki za odpowiedzi. Nie rozumiem, dlaczego niby nie możnaby zapisywać ponownie do jakiegokolwiek formatu? Dla mnie jedynym ograniczeniem zapisu danych w dowolnym formacie jest w gruncie rzeczy nie format, ale nośnik – no ciężko zapisać na płytę CD na przykład Zasadniczo widziałem w życiu ingerencje w dowolne formaty danych... no chyba, ze po prostu NEFa zwyczajowo nikt nie zapisuje ponownie.
W kazdym razie... wrócę do swojego pytania. Scenariusz jest tu następujący – mam do dyspozycji trzy komputery, niestety mogę tylko na jednym pracować na surowych plikach, pozostałe dwa służą mi jedynie do przeglądania – i w zasadzie tam mam sporo ograniczeń, jedyna aplikacja jaką mogę używać do przeglądania to Irfanview. Kolekcja zdjęć jest w RAW, i na tych dwóch komputerach chciałbym oglądać odszumione obrazki, jednocześnie nie chcę zmieniać formatu, aby móc miec dostęp na głównym kompie do CS5 + ACR, gdzie mogę zająć się porządnym wywoływaniem zdjęć. Innymi słowy, chciałbym pozbyć się szumu ze zdjęć i zapisać z powrotem pliki w formacie, który zachowa elastyczność i wysoka jakosc jaką daje mi standardowo RAW bez konieczności konwersji do JPG na przykład. Jakieś pomysły? mozer - Wto 30 Kwi, 2013 elijah, oczywiście, że się da zapisywać do plików RAW, ale większość programów tego nie robi, bo filozofia surowych danych jest taka, żeby takowymi pozostały... paul80 - Wto 30 Kwi, 2013 elijah, nie kumasz bazy, masz kontener w postaci pliku RAW czyli nikonowski NEF i on ma zaszytego jpg w pełnym formacie, teraz po odszumieniu go w sofcie Nikona zapisujesz te ustawienia w pliku NEF i masz automatycznie odszumionego jpg-a, będziesz chciał samego JPG-a lub TIFF-a to będziesz musiał dodatkowo eksportować. Nie chcesz eksportować do jpga a jak myślisz, czym jest podgląd w NEF, ano pełnoformatowym jpg . Masz dwa wyjścia, albo używasz ACR i format DNG z zaszytym jpg full size, albo Capture View Nx Nikona odszumiasz i "zapisujesz" w NEF-ie.
hijax_pl - Wto 30 Kwi, 2013 Zapis do RAW jest możliwy. Jednak będzie problem ze stworzeniem funkcji odwrotnej do demozaikowania. To znaczy by zredukować zapis koloru z powrotem do siatki R,G1,G2,B. paul80 - Wto 30 Kwi, 2013 to już będzie podwójnie zmodyfikowany NEF 
hijax_pl - Wto 30 Kwi, 2013 Dlaczego podwójnie? Nie ma obowiązku by w NEFie był zaszyty JPEG. Jest bo akurat coś trzeba na wyświetlaczu pokazać w aparacie, ale przecież dla oszczędności miejsca w kompie można je wyrżnąć, bo i tak nie są do niczego potrzebne. Gdyby wszystkie RAWy były zapisane jako liniowe DNG - wtedy masowe odszumianie i zapis z powrotem do "RAW" byłby możliwy. paul80 - Wto 30 Kwi, 2013 Chodziło mi o majstrowanie Nikona przy NEF a druga sprawa to czy możliwość modyfikowania raw nie wymaga odszyfrowania pliku?
mozer - Wto 30 Kwi, 2013 paul80, a od kiedy rawy są szyfrowane? elijah - Wto 30 Kwi, 2013 Paul80, jakbym kumal baze, to bysmy w ogole dzisiaj tutaj nie rozmawiali
Z drugiej strony, watpie abys wiedzial o czym piszesz. Raz, ze NEF nie jest szyfrowany (no chyba ze ktores z jego meta), dwa, od kiedy w NEFie siedzi pelny JPEG i po co? Zreszta, nawet jesli siedzi (co nie powinno byc problemem jakby ktos chcial takie cos zaimplementowac), to i tak nie chce odszumiac JPG, lecz przepruc dane zapisane w RAW. Nie jest to az takie niemozliwe - choc z pewnoscia zalezy, czy algorytmy odszumiajace sa na tyle sprytne, ze pracuja na surowych danych czy tez wczesniej zdemozaikowanych.
W trybie wsadowym? Poza tym, nie chce odszumiac JPEGa, tylko "czyste" dane. Wlasciwie, nie czyste tylko surowe, zasmiecone szumem z matrycy
Tutejszyn - Wto 30 Kwi, 2013 Wydaje mi się, że w żadnym momencie nie ingerujesz w dane z matrycy, a więc niczego nie odszumisz w RAW. Ingerencja w RAW wiązałaby się ze zmianą informacji, a więc bezpowrotnym "uszkodzeniem" pliku. Po co JPG w NEFie? Chociażby po to, abyś mógł zobaczyć, co sfotografowałeś. elijah - Wto 30 Kwi, 2013
Bardzo dogmatyczne podejscie do danych. Dla mnie kazdy format jest modyfikowalny, kompletnie nie kumam pojecia "uszkodzenie", no chyba ze mialoby to zniszczyc strukture pliku.
No i dlatego mialby byc zapisany w pelnej rozdzielczosci, skoro tylni ekran D90 okolo 920.000 pikseli, o ile dobrze kojarze? Swoja droga, zaden problem aby zwyczajne przegladarki obrazkow mialy zaimplementowane algorytmy do demozaikowania obrazu i nie musialy polegac na podgladzie plikow JPG, ktore zreszta nawet dla formatu DNG, o ile dobrze doczytalem na stronie Adobe, nie sa obowiazkowe.
paul80 - Wto 30 Kwi, 2013 Nie wiem czy szyfrowane, kodowane w każdym razie są zabezpieczone przed modyfikacjami http://www.canon-board.in...y-sadowe-19486/
Zdaje się że bujasz w obłokach, ja wiem o czym piszę, NEFY ( bynajmniej z D700) mają pełnowymiarowego jpg-a w NEF-ie i zrozum jedną rzecz, nie ma możliwości odszumiania pliku raw i zapisanie tego z powrotem do raw.
Zdradź mi tajemnicę, jeżeli dałoby się odszumić raw i zapisać do raw, to tylko w takiej formie trzymałbyś na komputerze? 
[ Dodano: Wto 30 Kwi, 2013 10:41 ]
Ta jasne, znowu brednie i nie masz pojęcia o czym piszesz, żaden producent nie udostępni algorytmów swoich aparatów innej firmie. Idąc Twoim tropem, to Canon powinien udostępnić na tacy Sigmie algorytmy autofkusa, bo przecież to żaden problem
Tutejszyn - Wto 30 Kwi, 2013
[ Dodano: Wto 30 Kwi, 2013 10:44 ]
jaad75 - Wto 30 Kwi, 2013
elijah - Wto 30 Kwi, 2013
Zasadniczo, rozumiem. Rozumiem tez, ze zasadniczo nie powinno byc, przynajmniej teoretycznie, problemu z tym, aby napisac algorytm który będzie analizował i usuwał szum z dowolnego formatu zapisu danych. Zwłaszcza, że nikogo nie dziwi zapisywanie zmian w teoretycznie surowym DNG, natomiast co niektórzy fanatycznie bronią "dziewictwa" NEF hehe, w każdym razie, to akademicka dyskusja.
No to ma sens. Kwestia tylko, że mniej podoba mi się to, że otwierając RAWa w przeglądarce grafiki, w gruncie rzeczy widzę zapisanego z nieznaną mi jakością JPEGa. Tak myślę, że sensownym byłoby w takim układzie robienie zdjęć RAW+JPG... z pewnością zmotywowałoby to mnie do aktualizacji dysków w domowej macierzy RAID
Mozesz podać konkretne nazwy? Pomyślę nad aktualizacją Irfana do czegoś bardziej odpowiedniego.
Tempo renderingu zalezy z pewnoscia od uzytego algorytmu oraz szybkosci CPU. Nie widze z tym kłopotu...
hijax_pl - Wto 30 Kwi, 2013
Tutejszyn - Wto 30 Kwi, 2013
hijax_pl - Wto 30 Kwi, 2013
W sumie to można rozłożyć RAW na 4 pliki, każdy dla osobnego kanału. I każdy taki plik niezależnie odszumić. Po czym złożyć z powrotem do postaci niezdemozaikowanej (RGGB). paul80 - Wto 30 Kwi, 2013
Znowu Ci powtórzę, DNG jest kontenerem który zawiera surowe dane plus taki plik xmp., tylko że on jest zaszyty w kontenerze a nie jako dodatkowy plik, daje to porządek że wszystko masz w jednym pliku, dodatkowo to od Ciebie zależy czy w DNG ma być podgląd i jakiej jakości itp. hijax_pl - Wto 30 Kwi, 2013
paul80 - Wto 30 Kwi, 2013
Cała ta rozmowa o tym że można jest bez sensu, potocznie się nie da i kropka w ogóle jaki jest sens odszumiania raw, to może jeszcze zmienimy mu inne parametry . Pomysł na ingerowanie w surowe dane jest nieporozumieniem i rozmowa o tym jest bez sensu
[ Dodano: Wto 30 Kwi, 2013 18:33 ]
Liniowy nieliniowy w każdym razie dane niemodyfikowalne w odszumianiu z niemożnością ponownego zapisu do oryginału liniowego nieliniowego 
hijax_pl - Wto 30 Kwi, 2013
Rozłożyć RAW na 4 TIFFy to żaden problem. Najmniejszy. Odszumić takie TIFFY - też. No ale złożyć z powrotem do DNG - trzeba by było napisać takowy program no chyba, że ktoś już coś takiego zrobił. Ale skoro są programy, które składają HDR na RAWach i tworzą z tego RAWa, to czemu nie?
paul80 - Wto 30 Kwi, 2013 hijax_pl to robi producent a czy My w chwili obecnej mamy taką możliwość ? i czy rozmowa o tym ma sens. Zakładam że mamy lightrooma 2.0, obrabiamy rawa tzn. odszumiamy bezpowrotnie i co lipa, bo mamy lightrooma 4 który zrobi to lepiej. Tutejszyn - Wto 30 Kwi, 2013 Ogólnie mam wrażenie, że elijah sądzi, że RAW ma lepszą jakość niż wywołany z niego JPG dlatego tak bardzo chce odrzucić JPGa i modyfokować właśnie RAWa, tak jakby RAW jednym z formatów plików graficznych, takich jak JPG, TIF i tym podobne. elijah - Sro 01 Maj, 2013
Podążając za tą logiką, bez sensu jest w ogóle wywoływanie cyfrowych zdjęć, bo w końcu jest to ingerencja w dane zapisane z matrycy, nieprawdaż? W ogóle, to niektórzy tutaj mylą pojęcia. O ile zrzut danych z matrycy powinien zawierac jak najmniej - a najlepiej surowe i nieprzetworzone dane, to później kiedy wylądują one na komputerze w kontenerze NEF są jak najbardziej przedmiotem obróbki i w sumie nie ma w tym nic nienormalnego.
Znaczy, że jest to słabo zoptymalizowany kod. Rzuc okiem na przykład na tą stronę - tutaj ktoś pomyślał, użył OpenGL i GPU zamiast CPU do przetwarzania i osiągnął szybkości liczone w setkach a nawet tysiącach Mpix/s (link - http://graphics.cs.williams.edu/papers/BayerJGT09) Przy takiej mocy przetwarzania, nawet dodanie dodatkowych operacji na obrazie spowodowałoby wyświetlanie go z rozsądną prędkością. Zresztą, mały offtop, jak będziesz zainteresowany, pokażę Ci co potrafią robić geniusze w temacie optymalizowania kodu i przetwarzania grafiki w czasie rzeczywistym... Z ciekawostek, pewna firma zoptymalizowała DCRAW pod kątem wielowątkowych procesorów i chwali się dwukrotnie większą wydajnością: http://www.heliconsoft.com/dcraw.html A tutaj wygrzebałem przegladarkę która na moim kompie potrafi demozaikowac RAW w jakies 2-3 sekundy: http://www.faststone.org/ Pewnie mozna i lepiej, ciekawia mnie inne propozycje dobrych i szybkich przegladarek, najlepiej takich gdzie mozna ustawiac parametry demozaikowania.
I w porządku, pod warunkiem, że przeglądarka potrafi mi prawidłowo te dane przetworzyć i wyświetlić. Zrobiłem swoją drogą mały eksperyment i otworzyłem 12MPX NEFa z D90 w ACR, następnie zapisałem w DNG. Tymczasem Irfan... ku mojemu zdziwieniu wyswietlil mi podglad o rozdzielczosci jedynie 1/4 oryginalu, czyli zamiast RAW zobaczylem zaszytego JPG, ktory nie dosc ze mniejszy, to jeszcze zapisany z badziewną jakością, naprawdę wizualnie zasadniczo gorszą niż to, co widziałem na ekranie. Najgorsze jest to, że ACR z CS5 nie daje mi (albo przynajmniej nie doszukałem się) żadnej opcji, która pozwoliłaby mi parametry tego pliku podglądu ustawić... I tu cała kwestia się rozbija: kupuję dobry (co prawda amatorski, ale dobry) sprzęt foto, szybkiego kompa, dobry monitor na IPS, ustawiam RAW w aparacie aby uzyskac wysoka jakosc... i w rezultacie koncowym podgladam pliki JPEG o nieznanych mi parametrach, dodatkowo - nieodszumiane, w odroznieniu od zwyklych JPEG, ktore body potrafi odszumic. Troche to irytujące, nieprawdaż? Oczywiście, można powiedzieć, że po to się robi RAW, aby je wywoływać. Zgoda, tylko że przy moim niezbyt intensywnym klepaniu, to okolo 10000 rocznie do wywołania, po pięć minut na jedno daje mi 20 tygodni roboczych pracy. Dlatego, wywołuję co niektóre, resztę trzymam w surowym formacie na HDD, przeglądając je tak jak są (czyli jak właśnie odkrywam, w JPG). I teraz paradoksalnie, wychodzi na to, że jako amator lepiej bym wyszedł na tym, gdybym robił w JPEG, bo nie dość, że wszystko mi otwiera to bez problemu, to body potrafi mi jeszcze odszumić zdjęcie i usunąć CA na przykład. No niech mnie kule biją... Tutejszyn - Sro 01 Maj, 2013
Kiedy wyprowadzisz na ekran obraz z RAW w np. ACR z CS5, używając skrótu myślowego, można powiedzieć, że patrzysz na czystego RAWa. Możesz teraz dokonywać zmian na obrazie, jednak tych zmian nie dokonujesz w RAW, ale w pamięci operacyjnej komputera. Kiedy swój obrazek doprowadzisz do perfekcji, odszumisz, poprawisz kontrast i balans bieli, musisz ten obraz utrwalić. Przywołujesz operację "Zapisz". W tym momencie musisz wybrać, czy zapisujesz w JPG, TIF... Powstaje plik, którym możesz się chwalić. W każdym momencie możesz go też otworzyć ponownie bez 2-3 sekundowej zwłoki. Najciekawsze jest to, że ten zapisany plik (JPG!) ma dokładnie taką jakość obrazu, jaką widziałeś na ekranie, kiedy patrzyłeś na nieutrwalony obraz RAW. Kiedy chciałbyś mimo wszystko coś zmienić, to nadal masz dostęp do źródłowego obrazu RAW. Otwierasz więc RAW i miłą ciekawostką jest to, ze w pliku zostały zapamiętane ostatnie ustawienia suwaków ACR z CS5, ale tylko ustawienia suwaków. Żadne inne zmiany nie zostały dokonane. Plik jest nadal dokładnie taki, jaki został zarejestrowany w aparacie. Dla ścisłości.. Używając ACR ustawienia suwaków nie są zapisane w pliku RAW, ale w towarzyszącym mu pliku XMP. Wystarczy skasować XMP i plik RAW jest już dokładnie taki, jakim był po imporcie z aparatu. Znowu dla ścisłości.. ACR w CS5 nie ma opcji "Zapisz". Jest tylko "Otwórz obraz". Obraz wyświetli się już w CS5, a tutaj już możesz zapisać plik w JPG. hijax_pl - Sro 01 Maj, 2013
paul80 - Sro 01 Maj, 2013
Nie o to chodzi, dane z matrycy jakie by nie były powinny być logicznie rzecz pisząc nienaruszalne a jeżeli producent ruszył te dane to w testach taka stosowna rzecz jest ujęta, czy zrobił to dobrze i lepiej nie można, tego nie wiem. Zawsze możesz wywołać RAWA np. w lightroomie bez parametrów z puszki, ale to co producent już zrobił na stałe to już chyba zostaje, dostępu i wpływu chyba do tego nie mamy. Ty chcesz ingerować w coś co powinno być przez nas nienaruszalne jako format raw. Co do fastone to badziew, ale bardzo szybka przeglądarka, jeżeli poprawią CMS-a to będzie super. Druga sprawa to właśnie jak napisał hijax_pl, zacznij używać LR i eksportuj do DNG w FULL SIZE jpgiem i będzie miał normalny podgląd nie 1/4, chyba że Irfan jest upośledzony, ja używam innego softu z pełnym CMS-em XnView i poza Adobe nie ma za bardzo alternatywy. jaad75 - Sro 01 Maj, 2013 Można też po prostu używać LR-a, czy Bridge'a jako przeglądarki do zdjęć i oglądać sobie podglądy po przetworzeniu, albo po prostu masowo wyeksportować gotowe JPG-i wybranych zdjęć. Oryginalny plik RAW ma zawierać czyste dane obrazu, takie jak wypluł z siebie aparat, po to właśnie, by można było mówić o bezstratnej obróbce i by zawsze można było wrócić do punktu wyjścia - taka jest idea tego formatu, jeśli Ci nie odpowiada, po prostu eksportuj po obróbce do innego, a RAW-a archiwizuj jako ewentualny backup, albo nawet kasuj. [ Dodano: Sro 01 Maj, 2013 11:23 ]
paul80 - Sob 04 Maj, 2013
Praktycznie 100% tego co z Adobe, Acdsee pro to nieporozumienie, mi Xnview polecił zawodowiec i nie trudno się domyślić kto
|
