DSLR, rumore a pioggia e non...

[Paolo]

Pioggia, grandine, nevischio... non so chi ha inventato questo nome per le striature di fondo che si vedono a volte su foto prese con le DSLR, pero' rende l'idea e permette di distinguere questo particolare rumore da altri tipi similari (es. banding verticale o orizzontale).

Ringrazio il nostro Marco DB per avermi messo a disposizione i frames ottenuti con la sua EOS350 modificata. Si tratta di una immagine la cui elaborazione finale presenta appunto queste particolari striature. Oltre quanto e' stato detto a seguito del topic in cui Marco ci ha presentato l'immagine, volevo aggiungere un piccolo resoconto "illustrato" sulla base dei frame originali. Il rumore in questione e' molto spesso legato anche ai dark frames per cui il discorso andrebbe approfondito ulteriormente, servirebbe pero' una nutrita serie di dark frames prese anche a temperature differenti.

Espongo le valutazioni in modo sintetico.

Analisi del rumore su 8 frames (ingrandimento al 200%):

Si tratta di frames nativi, cioe' senza alcun trattamento, in formato fit. Prima fondamentale considerazione: il campo stellare si muove rispetto ai pixel del sensore (l'animazione e' fissa sul frame) ad indicare una possibile flessione differenziale progressiva dei supporti delle ottiche di guida e di ripresa o dei rispettivi sensori. Abbiamo poi un rumore a pattern fisso costituito da pixel caldi e freddi. Questo rumore, con piccole fluttuazioni, rimane appunto nella stessa posizione. Come dire che gli stessi pixel mostrano una intensita' maggiore rispetto alla media su tutti i frames. L'altro rumore che io noto subito dopo quello descritto e' il cosiddetto "chroma noise", fluttuazioni di colore a macchia di leopardo:

Questo rumore a bassa frequenza non riguarda pero' solo il colore ma anche la luminanza, come si vede nella stessa animazione con i frames desaturati:

Stavolta il rumore a bassa frequenza (in crominanza o luminanza) non si ripete con un pattern analogo tra i vari frames ma sembra casuale per cui lo stacking tende ad abbatterlo e non entra in gioco sulle striature del fondo (se non per un master dark fatto male ma lo vediamo dopo).

Torniamo alla nostra foto. Stacking con media dei frames senza allineamento sulle stelle:

Si notano l'effetto delle flessioni differenziali e il rumore a pattern fisso.

Stacking con media dei frames allineati sulle stelle:

Rumore a pioggia! Le striature sono composte dal rumore a pattern fisso trascinato nello stacking ed hanno lunghezza e direzione pari allo spostamento delle stelle dovuto alle flessioni. Spesso nuove striature iniziano dove altre finiscono e sembra di vederne di piu' lunghe. In questa animazione (e' messo a confronto un singolo frame con il risultato dello stacking) si puo' osservare come gli hot pixel creino le tracce sottili:

Fin qui si e' lavorato con immagini senza pretrattamento, cosa che dovrebbe essere evitata come la peste... Quindi prendendo una (lunga) serie di dark e bias, possibilmente alla stessa temperatura ambientale (mica semplice, le DSLR non hanno il sensore termostatato) il rumore a pattern fisso, responsabile delle striature, dovrebbe ridursi notevolmente. Marco mi ha fornito un master dark di cui pero' non ricorda la composizione (appena puoi facci sapere), fatto sta che la sottrazione di questo dai singoli frames non riduce molto il numero di pixel caldi. Almeno non li toglie bene quanto un filtraggio mediano 3x3. In questa animazione l'effetto della sottrazione del dark su un singolo frame:

Una parte dei pixel caldi viene ripristinata ma ne restano moltissimi altri. Certo, avendo anche questi una fluttuazione (si vede dalla prima animazione), non possono essere eliminati da un master dark che rappresenta una media per pixel, ma mi sarei aspettato una migliore correzione generale. Puo' essere dovuto ad un master dark ottenuto con un numero insufficiente di frames ma non posso dirlo perche' non ho i dati. Trovo allora piu' efficace, per quanto riguarda i soli pixel caldi, l'intervento del filtro mediano 3x3 con parametro 30 di Astroart:

Ecco infine i tre risultati dello stacking togliendo un po' la dominante blu:

Senza pretrattamento:

Con sottrazione del master dark ai singoli frames:

Con l'applicazione del filtro mediano 3x3 ai singoli frames:

Le immagini sono fortemente tirate nei livelli e il bilanciamento dei colori non e' completo (c'e' molto rosso ancora da estrarre). Dunque a me sembra che la prima mostra le striature in modo piu' evidente, sottili e marcate. La seconda, con il dark applicato, ne ha meno di sottili ma aggiunge purtroppo anche diverse macchie scure allungate dal trascinamento, segno che qualcosa non va nel master dark. In pratica il nostro master dark ha introdotto una certa quantita' di rumore a pattern fisso a bassa frequenza. L'applicazione di un simile dark da piu' problemi che benefici. La terza immagine e' quella che evidenzia meno il rumore a pioggia. Diminuisce ma non scompare, segno che anche togliendo per bene il pixel chiaro, nel suo intorno e' probabile resti ancora qualcosa (osservare le zone adiacenti gli hot pixel nell'immagine con le stelle strisciate)

A questo punto bisogna precisare che il pretrattamento deve comprendere anche la divisione per il master flat il cui scopo non e' solo quello di togliere vignettatura e aloni da polvere ma anche di riequilibrare la diversa risposta alla luce dei singoli pixel (compresi pixel apparentemente neri come quelli presenti nei frames di questo soggetto). Nel caso della nostra immagine puo' fare la differenza e eliminare molto piu' efficacemente pattern fissi e di conseguenza le fatidiche striature.

Il veloce test quindi andrebbe esteso considerando master dark, bias e flat ad hoc. Vedere i risultati e magari fare prove con dark e bias a temperatura leggermente diversa per simulare i possibili errori di chi fotografa e capire quanto impatto hanno sull'immagine finale. Di sicuro se si vuole usare in fase di calibrazione un solo dark e' meglio lasciar perdere. Molto meglio fare solo una rimozione dei pixel caldi con un filtraggio software. Un singolo dark ha un rumore a bassa frequenza che viene applicato a tutti i frame creando con alta probabilita' un bel fixed pattern noise che al minimo deturpa il fondo con macchie e, se trascinato per flessioni differenziali, crea anche delle brutte striature larghe.

Ho lavorato qualche volta con la DLSR in quanto uso praticamente sempre la CCD monocromatica raffreddata. Devo dire che la gestione del fondo cielo con la reflex e' molto piu' critica, soprattutto se si punta a mantenere il formato originale senza riscalare l'immagine. Nel confronto 1 a 1 con il sensore CCD monocromatico la differenza di resa (principalmente l'uniformita') e' abissale. Principalmente per il forte rumore a bassa frequenza (in luminanza e crominanza) ma anche per altri disturbi che rendono il fondo molto poco omogeneo. Ho sperimentato queste differenze con la EOS350D, non so quanto la qualita' sia migliore con camere di livello superiore (comunque di certo e' migliore).

Concludo citando per dovere di cronaca il dithering, tecnica di ripresa che di fatto aiuta moltissimo a risolvere il problema legato ai pixel caldi trascinati in fase di stacking. Se dovessi lavorare spesso con sensori a colori come quello in questione, credo non ne farei mai a meno perche' le flessioni differenziali sono sempre in agguato, anche quando tutto sembra solidale e robusto.

Qualche volenteroso ha voglia di completare il test con tutti i frame di calibrazione?

Per questo soggetto, Marco, riproverei la combinazione senza utilizzare il dark ma applicando il filtro mediano di AA ad ogni frame.

A presto
Paolo

[Paolo Maria Ruscitti]

Discussione molto interessante!

Allora io utilizzo una 350D (per ora!) e dalle innumerevoli prove sul campo posso con certezza dire che ciò che crea i problemi maggiori nell'elaborazione delle immagini è:

1) Un elevato segnale termico con annesso rumore;
2) Una gran quantità (sterminata!) di pixel caldi;
3) La risposta ad un fondo uniforme (come dovrebbe essere più o meno il fondo cielo) sia in luminanza, sia in crominanza vistosamente a macchia di leopardo.

Tutto questo e altro ancora, quando si va a fare l'allineamento e la somma delle immagini introduce il famigerato "rumore a pioggia".
Personalmente non ho trovato alcun metodo valido, post-ripresa, per eliminare il rumore a pioggia. Per questo mi sono deciso (mesi addietro) a provare la tecnica del dithering. Problema perfettamente eliminato, diciamo meglio aggirato poiché agiamo al momento dell'integrazione andando a spalmare casualmente l'immagine sul sensore evitando che invece segua una precisa deriva causata da flessioni, allineamenti errati e così via. Quando si sommano le immagini anche i vari pattern si spalmano casualmente e così avviene il miracolo.

Per il fondo cielo "leopardato" le cose sono più complicate. La strada da seguire, che almeno seguo io con buoni risultati, è quella di integrare molti dark (in genere ne prendo almeno 10, con l'ultima immagine di M33 non l'ho potuto fare ed il fondo cielo ne risente di conseguenza) e soprattutto dei buoni flat che uniformano la risposta del sensore e migliorano il frame anche sotto l'aspetto che stiamo analizzando.

Con la EOS in questione, poi, non calibro tramite la sottrazione del master-dark poiché viene introdotto un rumore secondo me più difficile da gestire, ma utilizzo un algoritmo fornito da Nebulosity. In pratica dal master-dark ottengo una mappa dei pixel caldi e poi vado a calibrare le immagini utilizzando questa mappa. Anche il rumore viene ridotto, indice di un qualche algoritmo mediano che opera su una matrice di pixel o qualche altra diavoleria del genere.

Appena avrò tempo, o meglio il meteo me lo consentirà, farò delle prove di confronto tra la EOS 350D e la CCD Magzero MZ-8 gentilmente passatami da Andre B. che la vuole dar via ed io vorrei prenderla.

Per ora l'unica prova che ho effettuato e quella sul segnale termico. Ovviamente considerando il raffreddamento a doppio stadio della MZ-8, tra questa e la EOS c'è un abisso in termini di segnale termico. Praticamente assente nella MZ.

Insomma mi riservo di presentare presto non solo chiacchiere, ma anche fatti!

Per concludere (per ora): se si vuole utilizzare una DSLR in astronomia si è costretti a fare le cose per benino, senza tralasciare nulla. In pratica parlo del dithering, dei noiosissimi dark e degli irrinunciabili flat. Se tutto questo è troppo, allora è bene cambiare apparato di ripresa se si vogliono ottenere buoni risultati.
A presto.

[marco]

Complimenti a Poalo B. per la dedizione che ha profuso per questa che definirei una vera e propria ricerca- studio utilissima agli astrofotografi volenterosi e scrupolosi, soprattutto per i possessori di dsrl.

Per i dati sul dark dovrei controllare sul vecchio portatile (se ha voglia di ripartire.....) ma mi sembra che ho utilizzato un semplice dark da 1 ft, al massimo tre ma, ripeto, dovrei controllare sperando di appurare quello che ho combinato.

E' incredibile che l'immagine soffra di dominante rossa ancora da estrarre poichè ho usato un filtro cls che mi sembrava l'avesse abbattuta introducendo, tra l'altro, una dominante azzurrognola (il soggetto era anche basso sull'orizzonte) molto complicata da togliere anche con la correzione selettiva del colore.

Quello che mi sconcerta è la deriva (che ovviamente avevo notato da subito) che mi sembra strano possa dipendere da una flessione differenziale ma......, tant'è.....; non credo si possa trattare di eccessivo disallineamento tra ottica di ripresa e di guida per cercare la stella. Forse è entrato in gioco (anche) il diagonale con la barlow; forse anche il fatto che avro' dimenticato di serrare la vite di blocco del focheggiatore del rifrattore guida......

Il fatto certo da quello che è emerso dallo studio del guru (ti vogliamo relatore a Forli' ) è che questo tipo di rumore dipenda in massima parte dal trascinamento di singoli pixel di rumore non tolti da un dark inefficente piuttosto che da striature di rumore come paventato da Paolo R. sull'altro topic che ci ha fatto comunque toccare con mano come la sua tecnica del dithering possa ovviare al problema.
Grazie a voi

[Paolo]

Visto che con i vostri interessanti contributi si parla anche di rumore in generale ho aggiustato il titolo del topic.

Marco, non ho fatto nulla di speciale, la mia voleva essere solo una semplice simulazione di una pratica elaborativa che evidentemente risulta troppo semplificata e porta a risultati non ottimali. Con il concorso naturalmente dei problemi connessi alla fase di ripresa. Una catena di eventi che ha come risultato il formarsi di quel particolare rumore di fondo a striature.

Forse sbaglio ma sono convinto che la calibrazione completa (comprensiva di flat) con le operazioni condotte sui RAW prima del debayer (soprattutto la gestione dei dark frames) possa riuscire ad eliminare completamente le striature e in generale a restituire molto meglio le deboli luci del soggetto.

Purtroppo il tempo e' tiranno, ho potuto fare questa veloce simulazione con i materiali a mia disposizione gentilmente forniti da Marco ma mi rendo conto che sarebbe molto interessante, come dicevo nel topic iniziale, far vedere quale puo' essere il risultato operando con tutti i crismi e quanto puo' deteriorarsi con livelli di semplificazione crescenti.

Paolo, sono contento che stai facendo un salto di qualita' con il sensore a colori raffreddato anche se, conoscendoti un po', mi sembri piu' il "tipo" da camera monocromatica e attivita' a largo spettro (in tutti i sensi). Facci sapere come procede e se hai tempo (tu o Marco che usate sensori a colori) mostraci cosa cambia tra una elaborazione completa e una semplificata (se in ripresa c'e' anche il trascinamento per flessioni e' ancora meglio).

A presto
Paolo

[Paolo Maria Ruscitti]

Allora carissimo Paolo, effettivamente il sensore in B/N non è che non mi alletti, però al momento per questioni di budget (accidenti sempre lui!!! ) vorrei cogliere l'occasione per prendere la MZ-8 di Andrea e fare intanto un salto dalla DSLR ad un CCD appositamente studiato per le riprese astronomiche con tutti i vantaggi che ne derivano. Ovviamente la scelta dipende anche dal fatto che ad Aielli (scarsamente e malamente illuminato) dove ho la postazione fissa vedo tranquillamente e nitidamente la via lattea quando è sereno e non ho luci che rompono!
Il sensore B/N per ora lo lascio al prossimo acquisto, così da completare il "parco macchine" .

Per il discorso rumore ho intenzione di effettuare una sessione di riprese allineando male la montatura al polo e lasciano trascorrere qualche minuto tra una ripresa e l'altra così da avere una deriva in declinazione evidente e costante durante la somma.
Poi passerò al test quantitativo per mettere in evidenza le differenze tra una buona calibrazione ed una cattiva (o meglio assente!).

[maxcaimmi]

Se pensavate di essere soli, vi sbagliate di grosso!
Sono qui, tutt'orecchi, che come sempre "attingo"!

(...e come me, penso molti altri!)

[Paolo Maria Ruscitti]

Tra le altre cose adesso che ho sottomano una CCD a colori, vorrei provare a capire se, ed eventualmente quanto, possa influire in tutto il discorso il fatto di avere un pattern di filtri sul sensore (e quindi l'algoritmo per ridurre l'immagine da B/N ad RGB).
Un bel confronto quantitativo da DSRL e CCD a colori potrebbe servire a molti, compreso il sottoscritto.

Bene Max, allora ci ascoltano anche coloro che non usano il colore in "un'unica botta!" ma vanno col B/N e filtri!

[Pering]

Solleticato da Paolo resuscito questo post, dove si è detto molto e bene, ma non si è messo il dito nella piaga.
Il problema è il rumore a pioggia nella foto di Marco, dovuto a flessione, ciò appare chiaro ed è stato anche detto.
L'errore che è stato fatto il questo post è quello di cercare una scappatoia, una medicina, invece di risolvere il problema alla radice.
La precisione dei sensori, la dimensione sempre più piccola dei pixel, la sensibilità grandiosa di essi, ci portano ad essere sempre più precisi e a non tralasciare nulla.
Dalla foto di marco si vede chiaramente che il sensore di ripresa se ne andato obliquamente rispetto a quello di guida. E' come se un cieco (la ripresa) se ne andasse da una parte e il cane (la guida) appresso al gatto.
Prendete il saldatore e saldate i due sensori (sbig a doppio sensore) e poi vedrete che problemi di rumore a pioggia saranno spariti.
Non basta stringere una vite per eliminare le flessioni, bisogna cercare in tutti i modi di irrigidire i due treni ottici(in caso di guida in parallelo si intende) e poi il gioco è fatto.
Anche i raccordi possono flettere, più che flettere cedere, se un raccordo non batte contro l'altro ma è solo infilato dentro, sicuro cederà anche se è stretto a morte.
ci vogliono 6 punti di appoggio per fissare un corpo tridimensionale e non devono stare sullo stesso piano.