Dal menu Opzioni si accede alla gestione dell’ETL, acronimo di Extract Tranform Load. La fase di ETL è una fase comune a tutte le soluzioni di datawarehouse e consiste nel:

• estrarre i dati transazionali presenti sul gestionale
• trasformarli in una forma più adatta e performante per l’analisi OLAP
• caricarli nello schema del datawarehouse che è uno store parallelo alle tabelle del gestionale

L’ETL porta diversi vantaggi rispetto all’analisi diretta sulle tabelle transazionali del gestionale, tra cui:

• dati già pronti per l’analisi con metriche precalcolate che non necessitano di formule per l’aggregazione o filtri di selezione
• velocità di implementazione di dashboard e report molto maggiore rispetto alle normali indagini gestionali
• de-normalizzazione dello schema relazionale e aumento delle prestazioni
• possibilità di eseguire le interrogazioni dell’analisi dati in maniera separata dal gestionale e quindi senza andare ad appesantire o rallentare la normale operatività degli utenti
• storicizzazione dei dati nel datawarehouse e alleggerimento della base dati gestionale

In particolare la differenza tra realizzare un report sull’analisi dati e una indagine sul gestionale è molto marcata, tuttavia per contro è necessaria una fase di caricamento dei dati e una schedulazione dell’operazione.

Nell’analisi dati Ho.Re.Ca. esistono 2 tipologie di ETL:

• ETL locale: si intende il caricamento dei dati dal database gestionale presente nello stesso server dove viene eseguita l’analisi dati; il caso tipico è quello del Configuratore dove con l’ETL locale l’analisi dati va a caricare i dati direttamente dal DB del Configuratore.
• ETL remoto: si intende il caricamento dei dati da un database remoto presente su una installazione accessibile via Internet, questo viene eseguito tramite il motore di Replica Dati, quindi il punto vendita periferico invierà di dati di ETL all’analisi remota tramite Replica Dati. Esistono 2 casi di ETL remoto:
• Smart Cloud: ETL remoto dal punto vendita al servizio Smart Cloud in server farm Passepartout (vedi capitolo Smart Cloud)
• Catene di negozi: ogni punto vendita della catena invia i dati Configuratore della sede centrale, il Configuratore può essere una installazione On Premise installata presso un server del cliente o Cloud (Configuratore Live) presente in server farm Passepartout.

L’ETL locale, quindi dal DB locale all’analisi dati (caso tipico caricamento dei dati già presenti sul Configuratore), avviene tramite la gestione dell’ETL dell’analisi dati.



Elementi di questa interfaccia

• Opzioni pannello di sinistra
• lingua predefinita: condiziona il caricamento dei dati per quanto riguarda i valori alfabetici come lo stato di una transazione, tutti i dati verranno caricati nella lingua selezionata che quindi sarà la stessa anche per utenti che accedono con una lingua di interfaccia differente. Questo significa che se un utente utilizza la lingua inglese tutta l’interfaccia è in inglese ma lo stato di un conto viene mostrato con la dicitura in italiano se la lingua dell’ETL è italiano.
• Licenza: mostra il livello di licenza Basic o Pro (completa)
• Versione: build interna a scopo di controllo
• Datamart: fatti del gestionale caricati e disponibili, dipendenti dal tipo di gestionale in uso
• ETL secondari: è possibile creare più ETL associati a fonti dati secondarie, caso tipico un Welcome che vuole caricare anche i dati di un Menu, per impostazione predefinita viene creato un ETL collegato al DB locale del gestionale che esegue il servizio di analisi dati (es. Configuratore), non è necessario creare qui gli ETL secondari per i punti vendita periferici perché questi utilizzeranno gli ETL remoti e non l’ETL locale.
• Disattiva condivisione anagrafiche – in questa scheda, l'opzione di ETL "Disattiva condivisione anagrafiche" funziona solo con ETL locale, mentre è presente una analoga opzione, denominata ‘_Disattiva condivisione anagrafiche’ nel canale analisi Dati di replica dati per l'ETL remoto ‘_disattiva condivisione anagrafica’, utile ad esempio quando con più negozi retail di proprietà che devono inviare i dati al Configuratore Retail ma non si voglia condividere le anagrafiche (ora di default l'etl remoto condivide le anagrafiche).

N.B. In ogni caso Il flag ‘_Disattiva condivisione anagrafiche’ in Replica, affinchè funzioni correttamente, deve sempre essere coerente con il flag ‘Disattiva condivisione anagrafiche’ impostato in Opzioni dentro Analisi Dati.

• Pianificazione: consente di schedulare in modo automatico l’ETL locale
• Manuale: esecuzione manuale tramite il pannello di avvio manuale
• Real time: esecuzione differita schedulata mediamente ogni 5 minuti, i dati vengono caricati per differenza dall’esecuzione precedente tranne la prima volta che necessita del caricamento iniziale
• Oraria: è possibile specificare fino a 3 orari diversi di esecuzione, es. uno notturno e uno a metà giornata
• Avvio manuale: per eseguire immediatamente un ETL e per l’ETL iniziare che deve popolare la prima volta il datawarehouse
• Totale: carica tutti i dati, sia transazioni che anagrafiche, presenti sul gestionale locale; quindi tutti gli anni presenti verranno caricati ed eventualmente storicizzati in automatico se il numero di anni è superiore agli anni gestibili in linea in base alla licenza in uso.
• Totale dalla data: simile all’ETL totale con la differenza che le anagrafiche vengono caricate tutte (articoli, clienti, ecc.) ma le transazioni solo a partire da una certa data. Questo è particolarmente utile per il popolamento iniziale quando non si vogliono caricare tutti gli anni ma solo gli ultimi 2 o 3; le transazioni vengono quindi caricate dalla data indicata (tipicamente 1/1 dell’anno desiderato) mentre le anagrafiche tutte perché è normale referenziare in una transazione dell’ultimo anno una anagrafica codificata anni prima.
• Incrementale: dopo aver eseguito il popolamento iniziale, la modalità predefinita si esecuzione è quella Incrementale che consente di caricare solo i dati aggiunti e variati dall’esecuzione precedente. Mentre l’ETL totale può richiedere diverso tempo in base al quantitativo di dati presenti, l’ETL incrementale è solitamente molto veloce.
• Incrementale dalla data: come l’ETL incrementale con la differenza che può essere specificata una data di partenza invece che partire dall’ultimo ETL eseguito. Questo può essere utile nel caso sia necessario ricaricare un certo quantitativo di dati a partire da una certa data, non va però utilizzato per il popolamento iniziale del datawarehouse perché il filtro data viene applicato sia alle transazioni che alle anagrafiche e quindi non è idoneo per il popolamento iniziale che necessita invece di tutte le anagrafiche.

Nota bene: una volta attivato il servizio di Analisi Dati per la prima volta, è necessario eseguire l’ETL totale dalla data manualmente per decidere quanti anni caricare. Nel caso di grandi installazioni è consigliato effettuare prima una prova di caricamento solo dell’ultimo anno e in seguito caricare ulteriori anni (vedi sotto l’operazione “Rigenera anno”).

• Stato: questo pannello mostra diverse informazioni sullo stato dell’ETL e dei dati caricati
• Anni in linea: quanti anni in linea sono presenti, vengono mostrati solo gli anni con almeno 50 transazioni presenti, sotto tale volume l’anno non è conteggiato ai fini della limitazione sugli anni in linea. Quindi caricando ad es. un anno con solo 10 transazioni questo non risulterà visibile negli anni in linea (ma i dati saranno comunque presenti e analizzabili nelle dashboard).
• Dimensione anni in linea: mostra il massimo numero di transazioni presenti nel fatto più popolato
• Anni storicizzati: anni che sono stati caricati a storico o perché storicizzati manualmente o in automatico con l’ETL
• Ultima esecuzione: data ora dell’ultima esecuzione dell’ETL (manuale o automatica)
• Prossima esecuzione: se l’ETL è pianificato mostra la data programmata di prossima esecuzione in base alla schedulazione impostata
• Stato: stato dell’ETL che può essere:
• non eseguito: ETL non pianificato o pianificazione non ancora scaduta, nessun ETL manuale e quindi popolamento iniziale effettuato
• in corso: ETL in corso in questo momento
• eseguito con successo: ultimo ETL terminato senza errori
• eseguito con errore: ETL terminato con errori, utilizzare il pulsante Log per visualizzare gli errori presenti; i dati in errore non sono stati caricati, la data di esecuzione dell’ETL non avanza e alla prossima esecuzione verrà ritentato
• eseguito con warning: terminato ETL con warning, utilizzare il pulsante Log per visualizzare i warning presenti; i warning sono delle condizioni dove i dati sono stati caricati tutti ma non è stato possibile agganciare alle transazioni alcune anagrafiche, quindi ad es. una riga conto potrebbe non essere agganciata al commesso; sono situazioni che vanno analizzate e corrette
• Nota: in caso di errore o warning viene mostrato un popup di avviso quando l’utente accede ad una dashboard o ad un report
• Manutenzione: pannello per le manutenzioni straordinarie sui dati
• Cancella anno: viene cancellato l’anno indicato, sia questo in linea che a storico, operazione normalmente eseguita quando si raggiungono i limiti degli anni a storico per eliminare l’anno più vecchio
• Storicizza anno: consente di spostare un anno in linea a storico, operazione normalmente eseguita al nuovo anno quando il numero di anni in linea raggiunge il limite previsto dalla licenza ed è necessario storicizzare l’anno in linea più vecchio
• Rigenera anno: operazione straordinaria nel caso sia necessario riportare nel datawarehouse un interno anno leggendolo dal gestionale, questo corrisponde ad un ETL per l’anno indicato; questa operazione può risultare particolarmente utile in fase di popolamento iniziale, ad es. se si esegue la prima volta un ETL totale dalla data caricando 1 solo anno, poi è possibile caricare ulteriori anni precedenti con il Rigenera anno caricando quindi un anno alla volta
• Reset totale DW: cancella definitivamente tutti i dati dal datawarehouse, sia transazioni che anagrafiche, sia anni in linea che anni a storico
• Log: mostra tutte le informazioni sia dell’esecuzione dell’ETL che di eventuali manutenzioni. Sono quindi riportati gli step e i tempi delle varie fasi dell’ETL ed eventuali errori e warning. Le prime righe in alto corrispondono alle ultime operazioni eseguite. Il log ha una retention automatica di 1 MB.

Sono inoltre presenti i bottoni:

• Export: confermando tale azione viene esportato un file zip che conterrà quindi tutte le interrogazioni personalizzate
• Import: selezionando tale tasto, alla conferma viene aperta la finestra di caricamento del file zip e vengono importate tutte le dashboard, i report e le indagini rapide personalizzati sull’AD a cui ci si è collegati.

Nella schermata di Import è presente poi anche l’opzione "Cancella interrogazioni non presenti" che se selezionata permette di cancellare tutte le interrogazioni non presenti nel file di import (comprese le predefinite); mentre se non selezionata vengono lasciate invariate su AD.