Qualche tempo fa abbiamo parlato di ISIS e dell'estrazione di profili spettrali calibrati, ottenuti con reticoli a bassa dispersione (tipo SA100). Adesso invece trattiamo la riduzione degli spettri ad alta risoluzione, procedura con ISIS davvero semplice e rapida. Partiamo dal setup iniziale del software, argomento trattato anche nell'altro topic ma necessario qui per evitare di saltare da una pagina all'altra durante la lettura (al limite metteremo qualche link diretto).

Questo non e' un tutorial nel senso stretto del termine, cioe' qualcosa di "confezionato", sfruttiamo invece la grande risorsa dell'interattivita' visto che abbiamo la fortuna di trovarci su un forum.

Per chi non conoscesse ISIS, ricordo che si tratta del software integrato (puo' effettuare il pretrattamento con light, bias, dark, flat,...) piu' potente ed efficiente tra quelli disponibili in ambiente Windows. Ed e' gratuito!

ISIS produce profili spettrali secondo il formato standard FITS, calibrati in lunghezza d'onda, in intensita' (relativa o assoluta), con il nome del file strutturato nel seguente modo: _target_yyyymmdd_hhh_Observer (esempio _v1770cyg_20140620_960_PBerardi.fit). Favorendo la consistenza dei dati, il nome del file viene creato in modo automatico. L'istante di inizio osservazione (nell'esempio 2014 06 20.960) e' derivato dai frame nativi. A prima vista non sembra cosi' utile ma vi assicuro che invece e' veramente indispensabile. Non ne guadagna tanto chi prende uno spettro al mese ma chi invece, dopo qualche serata osservativa si ritrova nell'hard disk gli spettri di svariati soggetti, lo trovera' di grandissimo aiuto (non e' difficilissimo scambiare qualche dato facendo una bella frittata...).

Come dicevamo, tutti i dati rilevanti vengono inclusi nell' header del file secondo lo standard FITS. Tra questi il tempo di integrazione, sia totale che suddiviso nelle sottopose, la data (anche in formato JD), il potere risolvente effettivo (misurato in base alle righe dalla lampada di riferimento) ed altro. Di seguito un esempio:
Un profilo correttamente calibrato, con la struttura di header cosi' compilata, e' accettato in qualunque contesto amatoriale o professionale.

ISIS non produce solo profili standard (intensita' vs lunghezza d'onda) ma anche grafici di velocita' radiale e animazioni (per mostrare l'evoluzione del profilo). Sono possibili sofisticate misure di righe spettrali e trasformazioni sia per l'estinzione atmosferica che per quella interstellare. Dispone di funzioni di cross-correlation per aumentare la precisione delle velocita' radiali e tanto altro. Basta dare un'occhiata alle due tab "Tools" e "Misc" per capire quante sono le funzionalita' offerte.

Il download del pacchetto si effettua dal sito dell'autore, Christian Buil:

http://www.astrosurf.com/buil/isis/isis_en.htm

Prendere sia il software (attualmente alla versione 5.4.1) che il database di spettri (V7). Il database va semplicemente scompattato in una cartella a discrezione per poi indicare il suo percorso nella finestra dei settaggi di ISIS.

Partiamo proprio da questa finestra, consiglio di impostare gli stessi settaggi tranne ovviamente quelli da personalizzare come le coordinate geografiche (decimali) e il percorso alle cartelle di lavoro. La "working directory" e' quella in cui si trovano tutti i dati della sessione osservativa o del soggetto osservato, dagli spettri ai vari frame di calibrazione. Ogni lavoro di riduzione dati comincia impostando questa cartella. E' una soluzione comodissima perche', dove richiesto (vedremo in seguito), basta scrivere il nome del file. Specificare Lhires III nel campo "Spectrograph model", questa impostazione va bene per qualunque strumento a media o alta risoluzione (anche diverso dal Lhires III).
ISIS ha un suo modo per trattare le sequenze di frame. Il nome dei file deve essere di questo tipo:

nome-1
nome-2
...
nome-9
nome-10
...
nome-99
nome-100

Cioe' non funge con "nome-001" (normalmente restituito da Astroart, Maxim DL, ecc.) al posto di "nome-1". Lo so, state gia' storcendo il naso!

Ci sono due modi per rinominare i file in modo che ISIS possa lavorare correttamente. Il primo e' una funzione interna di ISIS (dal menu Misc: Maxim DL -> ISIS) ma in questo caso tutti i file vengono duplicati (cioe' non viene fatto un semplice rename). L'altro e' quello di utilizzare un apposito software per cambiare il nome dei file in modo massivo senza duplicare nulla. Io ho scelto la seconda soluzione e utilizzo il pacchetto "Bulk Rename Utility" (http://www.bulkrenameutility.co.uk/Main_Intro.php). Il rename dei file, in modo che vengano correttamente "digeriti" da ISIS, e' piu' facile a farsi che a dirsi! Chiaramente chi ignora questo passaggio e' gia' bloccato alla partenza!

Durante l'acquisizione dei file (spettri, dark, flat,...), consiglio di mettere il trattino "-" alla fine del nome. Ad esempio, attivando una sequenza in Astroart con il nome "Vega-", si otterranno i file Vega-001, Vega-002, ecc, rinominabili nei due modi descritti in Vega-1, Vega-2,...

Per i grafici e le animazioni ISIS si appoggia all'applicativo Gnuplot. Potete scaricarlo da qui http://sourceforge.net/projects/gnuplot/files/ e, dopo averlo installato (consiglio una cartella sotto la radice, es. "C:\gnuplot"), copiate il percorso nella pagina "Setting", voce "GNUPLOT software directory" (vedi immagine sopra).

Le operazioni viste finora si fanno, per trattamenti standard, una sola volta alla configurazione iniziale di ISIS. In questa pagina si rientra solo per aggiornare la "working directory", cioe' la posizione sul disco dove sono contenuti i file da trattare.

Prossimo step la pagina "Masters", da dove si effettua la preparazione dei frame di calibrazione.

Paolo

Ipotizziamo di effettuare la prima sessione osservativa. Oltre i cosiddetti "light frames", ovvero le immagini bidimensionali dello spettro, prendiamo anche una serie di immagini di calibrazione, bias, dark e flat.

Serviranno naturalmente anche i "light" della stella (o le stelle) di riferimento. Per questa, bias e flat saranno evidentemente gli stessi mentre il dark dovrebbe in teoria essere preso nuovamente in base al diverso tempo di esposizione (in genere le stelle di riferimento sono piu' luminose del target e il tempo di esposizione richiesto e' piu' breve).

Con ISIS pero' non occorre fare dark dedicati alle stelle di riferimento ma si usera' il master dark del target. Durante il trattamento le intensita' del master verranno automaticamente riscalate in proporzione al tempo di esposizione usato. Mettiamo il caso che il target sia stato esposto per 480 secondi, avremo preso quindi un certo numero di dark da 480 s l'uno. Se lo spettro della stella di riferimento e' stato esposto con frame da 120 s, per il suo trattamento e' possibile specificare il master dark da 480 s, ISIS provvedera' a dividere per 4 le intensita' dei pixel. Cio' e' fattibile perche' il segnale termico e' proporzionale al tempo di posa. Il requisito e' naturalmente che il sensore abbia lavorato alla stessa temperatura.

Questo e' possibile dal momento che il software lavora sul thermal frame (dark-bias), cioe' un frame riscalabile essendo privo dell'offset. Il riscalamento delle intensita' verso il basso (come nell'esempio fatto) approssima in modo molto preciso. Al contrario, un riscalamento verso l'alto (es. prendendo dark da 60 s per poi applicarli a frame da 480 s) non rappresenta una buona pratica. Nulla vieta naturalmente di prendere una seconda serie di dark per la stella di riferimento (un po' masochistico secondo me).

Ecco dunque la preparazione dei master in ISIS:
Le operazioni "offset -> dark -> cosmetic -> flat" si fanno nella sequenza indicata. Ci vogliono realmente pochi secondi per avere tutto pronto.

Descrizione pratica per punto con nomi di esempio.

#1 Compute an offset image
- scrivere il nome generico del bias nella casella di testo gialla: "bias-". Per nome generico ISIS intende la parte sinistra del nome fino al numero progressivo escluso. Da tenere a mente perche' si usa in numerose funzionalita'.
- premere il pulsantino quadrato a destra di "Image number". Viene visualizzato il numero di bias frame trovati nella "working directory". Se il nome dei file non e' coerente con quanto richiesto da ISIS (vedi messaggio precedente), verra' visualizzato zero.
- scrivere il nome del file, risultante dalla combinazione (mediana) dei vari bias, nel campo Result (es. offset).
- premere il pulsante GO. Viene creato nella "working directory" il file offset.fit (master bias).

#2 Compute a dark image
- scrivere il nome generico nella casella di testo gialla: "dark-"
- riportare il nome usato per la combinazione dei bias nel campo testo "Offset image" ("offset").
- lasciare dark coef. pari a 1
- premere il pulsantino quadrato a destra di "Image number". Verificare il numero di dark frame trovati
- scrivere il nome del file, risultante dalla combinazione (mediana) dei vari dark, nel campo Result (es. dark).
- premere il pulsante GO. Viene creato nella "working directory" il file dark.fit. Si tratta del master dark (identifica il "thermal frame", privo di offset).

#3 Compute a cosmetic file.
- scrivere il nome del master dark nella casella di testo gialla: "dark"
- digitare il valore di soglia (in ADU)
- premere il pulsante GO. Viene creato nella "working directory" il file cosme.lst, una lista in formato testo dove sono riportate le coordinate dei pixel caldi con valore di intensita' sopra la soglia.
E' noto che i pixel caldi con valori molto alti o saturati non si riescono a correggere in modo ottimale con il dark. ISIS usa la mappa cosmetica per trattare in modo specifico i pixel anomali. Come punto di partenza provare con valori di soglia di 100-500 ADU. Per lavorare correttamente, la lista prodotta dovrebbe contenere 100-200 punti (il file cosme.lst si apre con il notepad).

#4 Compute a flat-field image
- scrivere il nome generico del flat nella casella di testo gialla: "flat-"
- scrivere il nome del master dark nella casella Dark image: "dark"
- scrivere il nome del master bias nella casella Offset image: "offset"
- premere il pulsantino quadrato a destra di "Image number". Verificare il numero di flat frame trovati.
- scrivere il nome del file, risultante dalla combinazione (media) dei vari flat (es. flat)
- premere il pulsante GO. Viene creato nella "working directory" il file flat.fit
Nota: qui e' possibile specificare un master dark-flat (ottenuto con la procedura #2) oppure utilizzare il master dark principale che verra' riscalato in base al rapporto dei tempi di esposizione.

E' tutto. I file:

- offset.fit
- dark.fit
- cosme.lst
- flat.fit

sono pronti all'uso nella "working directory".

Funzionalita' opzionale: se nella "working directory" si crea preventivamente una sottocartella di nome CALIB, ISIS mettera' i master in uscita relativi a offset, dark e cosme in questa sottocartella. Il flat invece continuera' ad essere creato nella "working directory" in quanto e' da considerare un master non "stabile" come gli altri, cioe' legato alla singola sessione osservativa (in ogni caso puo' essere spostato successivamente nella cartella CALIB). In fase di estrazione del profilo spettrale calibrato (ma anche in ogni operazione che richiama i master), ISIS cerchera' i file master (compreso il flat) prima nella cartella CALIB, poi nella "working directory". Tutto questo serve sia a tenere piu' ordinato l'insieme dei file, separati da quelli di calibrazione, sia a rendere facilmente trasportabile il pacchetto dei file master. Prima di ogni trattamento, infatti, e' sufficiente copiare la cartella CALIB con i master nella nuova "working directory".

Le altre tre funzioni presenti nella parte destra della pagina "Masters" si possono per il momento ignorare. Tra queste e' molto utile in alcuni casi la PRNU map (Pixel Response Non Uniformity map) ma nel nostro contesto non occorre in quanto abbiamo incluso il master flat.

Il mio consiglio e' quello di fare delle serie di dark con un tempo di esposizione per frame abbastanza lungo, per tre o quattro valori di temperatura. Si potranno usare per qualunque frame con esposizione fino a tale durata. ISIS effettua il "rescaling" delle intensita' in modo completamente automatico, leggendo il tempo di esposizione dall'header FITS (sia sui light frame che sul master dark) e calcolando il coefficiente da applicare.

Ad esempio io ho preparato quattro serie (ovvero quattro master dark) che utilizzo con qualsiasi sub-esposizione minore o uguale a 960 secondi:

- dark 20 x 960 s, -15° C (inverno)
- dark 20 x 960 s, -10° C (primavera/autunno)
- dark 20 x 960 s, -5° C (estate fresca)
- dark 20 x 960 s, 0° C (estate calda)

Naturalmente le temperature sono ottimali per la mia camera (SXVR-H694) e il sito da cui osservo, ognuno deve trovare il giusto compromesso per le proprie condizioni strumentali e ambientali.

I master cosi' ottenuti possono essere impiegati per molto tempo. In teoria andrebbero rifatti dopo svariati mesi ma e' facile accorgersi quando arriva il momento per la presenza di nuovi pixel caldi (non raggi cosmici!). Inoltre per la spettroscopia ci interessa solo la zona del sensore in cui cade lo spettro del target e un po' di fondo cielo, alterazioni in altre parti del frame sono ininfluenti.

Alla fine della fiera... Per ogni sessione osservativa occorre solo prendere i flat!

Qui tra l'altro si potrebbe aprire una lunga discussione perche' non sono pochi coloro (anche esperti) che sostengono la bassa o nulla utilita' del flat. E' importante sapere che ISIS procede con l'estrazione del profilo anche senza flat (volendo anche senza dark, offset e mappa cosmetica). La divisione per il profilo della stella di riferimento (step sempre necessario) e' in grado infatti di compensare eventuali alterazioni di luce dovute al sensore e alle particelle di polvere sul percorso ottico, a patto che target e stella di riferimento siano posizionati nello stesso punto della fenditura (cosa abbastanza semplice guidando con Astroart 5 ad esempio).

Rimarrebbe non corretta la non uniformita' di responso dei pixel ma a questo potrebbe sopperire la PRNU map. Il flat cambia realmente le cose (e diventa indispensabile) se il sensore usato e' affetto una risposta spettrale con rapide variazioni (una specie di fringing). Per fare una verifica basta riprendere lo spettro di una stella calda, meglio se luminosa (es. Vega), e visionare su un grafico l'andamento del continuo. In presenza di oscillazioni di intensita' molto ravvicinate il flat e' essenziale. Il problema e' legato allo "smoothing" che facciamo sulla curva di risposta dopo aver diviso per lo spettro della stella di riferimento. Se si ammorbidisce troppo, la curva di risposta non seguira' fedelmente il fringing e la divisione successiva non lo annullera', di conseguenza ce lo ritroveremo sul profilo finale. Siccome il master flat mostra il fringing, dividendo per questo frame l'immagine spettrale a monte, otteniamo un profilo di partenza (non calibrato) gia' corretto, cioe' il profilo grezzo di una stella calda si presentera' senza le ondulazioni, a tutto vantaggio di un calcolo privo di errori della curva di risposta.

In effetti l'argomento riguarda con molta piu' probabilita' la spettroscopia a bassa risoluzione, tuttavia ho letto di alcuni sensori che mostrano del fringing anche in piccole regioni spettrali, in particolare nel rosso. C'e' da citare infine un tipo di fringing "variabile", assai problematico da eliminare. Questo pero' e' un altro discorso che riguarda marginalmente il flat (con la divisione per il master flat infatti non va via).

Dalla prossima occasione possiamo iniziare a parlare dell'estrazione dei profili. Per quanto visto consiglio di collocare i master ottenuti (offset.fit, dark.fit e cosme.lst) in una cartella predefinita. Il primo step operativo sara' infatti quello di copiarli nella "working directory" di ogni nuova sessione osservativa (argomento legato alla funzionalita' opzionale descritta sopra).

Fate sapere se qualcosa non e' comprensibile, in caso possiamo approfondire gli argomenti (che quindi potranno risultare chiari oppure ancora piu' incomprensibili! )

Paolo

EDIT 15/7: ho aggiunto alcune note

Ottimo lavoro Paolo. Per adesso sto cercando di seguire le tue indicazioni e di capirle, anche se per il pretrattamento delle immagini personalmente per adesso userò Astroart poichè ho più margini di manovra che magari spiegherò poi in dettaglio.....
Non so se sia meglio mettere i nostri commenti, esperimenti e dubbi direttame in questo topic oppure in un altro parallelo da creare ad hoc. Non vorrei si perdesse il filo di queste ""lezioni"".
Procedi pure quando vuoi..... e grazie per questo lavoro.

Grazie Nico! Parliamo tranquillamente in questo thread di qualunque aspetto. Sono convinto che tenendo conto dei commenti la descrizione delle varie procedure potra' essere migliorata. Non e' difficile poi ritrovare il flusso operativo di ISIS tra i vari messaggi (che volendo potra' essere in qualunque momento ricompilato sotto forma di articolo).

Tieni sempre a mente che questo e' solo un invito a provare, la procedura per l'estrazione del profilo che effettuate con altri tool va benissimo. Io ho usato per molto tempo Astroart + IRIS + VSpec. L'obiettivo si raggiunge ugualmente ma trovo che c'e' troppa manualita' nelle procedure. Un paio di conseguenze non positive sono la ripetibilita' del risultato che risulta un po' critica e l'enorme dispendio di tempo.

Parlando del pretrattamento, quali sono le funzioni di AA che ti sembrano non sostituibili?

Paolo

Quando dico che preferisco AA per la parte del pretrattamento delle immagini è perchè ad esempio, le nostre immagini sono spesso affette da una notevole presenza di raggi cosmici sia nei darkframes che nei lightframes.
Nei dark possiamo annullare il loro effetto facendo la mediana (non la media) di vari darkframe ottenendo così un masterdark abbastanza pulito.
Mentre i raggi cosmici presenti nei singoli lightframes, dovendo poi sommarli generalmente, tendono a moltiplicarsi sull'immagine finale. Siamo così costretti ad intervenire "manualmente" in quei casi(abbastanza rari fortunatamente), nei quali questi disturbi vanno a cadere proprio o nelle immediate vicinanze dello spettro.
Queste operazioni cosmetiche trovo più pratico effettuarle con AA invece che con ISIS, anche se forse in qualche modo potrebbero essere effettuate anche da ISIS, ma non ne sono così sicuro.

Forse è ancora solo una questione di abitudine, o forse bisogna adattarsi al proprio setup per trovare il compromesso migliore.

Guarda Nico, la rimozione dei raggi cosmici di ISIS e' davvero efficace ed automatica.

Per il master dark ISIS opera con la mediana, quindi il dark e' "pulito".
Per i light frame, durante il setup per l'estrazione del profilo c'e' una apposita opzione:
Il filtraggio dei raggi cosmici avviene solo nella zona dei light frame interessata dalle operazioni di estrazione, cioe' sopra e sotto lo spettro fino al limite esterno delle zone usate per la sottrazione del fondo cielo (nota la pulizia in tutta la fascia centrale):
Siccome la presenza di raggi cosmici impatta sul risultato, ISIS scrive in una apposita keyword (BSS_cosm) dell'header FITS del profilo, indicando se lo spettro e' corretto o "al naturale":
Nota che anche nel database BeSS sono presenti spettri non filtrati dai raggi cosmici. L'indicazione nell'header e' quindi di grande utilita' per interpretare correttamente le emissioni osservate nel profilo (quelle causate dai raggi cosmici sono di solito molto strette).

Io mi sento di consigliare l'uso del filtro per ogni trattamento. La rimozione richiede invece grande attenzione per coloro che producono spettri molto sottili (verticalmente) e con alto SNR. Il filtro infatti puo' creare vistosi artefatti in quanto parti dello spettro possono essere viste come raggi cosmici e quindi eliminate. Non e' il caso nostro dato che operiamo con lunghe focali e, di conseguenza, con spettri mai sottili.

Quando hai voglia e tempo fai una prova, potrai controllare il risultato sul master dark. Andando avanti potrai verificare anche con i light.

Nota che gia' questo primo step mette in conto un certo risparmio di tempo (la pulizia manuale dei frame richiede tempo). Ma il bello deve ancora arrivare!

Paolo