SQL Server 2005 Integration Services

Slides:

Advertisements

Presentazioni simili

© 2010 Colt Telecom Group Limited. All rights reserved. Cloud Computing Lapproccio Colt Dionigi Faccedna.

Advertisements

Teoria e Tecniche del Riconoscimento

Practical Analysis Services

Visual Studio Tools For Office 2005 Fabio Santini. NET Senior Developer Evangelist Microsoft Italy.

Consumare Web Service Andrea Saltarello

Midrange Modernization Conference 1 Scenari evolutivi per le soluzioni basate su AS/400 Walter Poloni Direttore Developer & Platform Evangelism Microsoft.

TechNet Integration Workshop

Dalla Business Intelligence al Business Performance Management

1 Teaching Cloud Computing and Windows Azure in Academia Domenico Talia UNIVERSITA DELLA CALABRIA & ICAR-CNR Italy Faculty Days 2010.

Luca Bianchi Windows Development Day Bologna 28 gennaio 2005 SQL Server Desktop Engine (MSDE) & SQL Server 2005 Express.

Sql Server 2005 Reporting Services - Sviluppo Franco Perduca Factory Software

Microsoft Host Integration Server 2004

La piattaforma Microsoft per lo sviluppo di applicazioni

Introduzione al datawarehouse

Sql Server 2005 Integration Services - Introduzione Franco Perduca Factory Software

Sql Server 2005 Integration Services - Sviluppo Franco Perduca Factory Software

Vincenzo Campanale PM Security & Management System Center, DSI e la Roadmap.

WSDL (Web Services Description Language) Laurea Magistrale in Informatica Reti 2 (2006/07) dott. Federico Paoloni

1 Processi e Thread Processi Thread Meccanismi di comunicazione fra processi (IPC) Problemi classici di IPC Scheduling Processi e thread in Unix Processi.

Sequential Statements. – Il VHDL simula lo svolgersi in parallelo di varie operazioni – Loggetto fondamentale e il PROCESS – Un PROCESS contiene una serie.

E Windows SharePoint Services 2.0 Ivan Renesto Overview how to use Windows SharePoint Services.

Un DataBase Management System (DBMS) relazionale client/server.

Microsoft Robotics Studio Marco Petrucco Microsoft Student Partner - Udine.

EJB Enterprise Java Beans B. Pernici. Approccio Java.

Model – View - Controller

prompt> java SumAverage

1. Conoscere luso delle collezioni in Java Comprendere le principali caratteristiche nelle varie classi di Collection disponibili Saper individuare quali.

2000 Prentice Hall, Inc. All rights reserved. 1 Capitolo 3 - Functions Outline 3.1Introduction 3.2Program Components in C++ 3.3Math Library Functions 3.4Functions.

Università La Sapienza Ingegneria del Software I 1 Ingegneria del software I Seminario 2: Microsoft.NET.

2000 Prentice Hall, Inc. All rights reserved. 1 Capitolo 6: Classi e astrazione dati 1.Introduzione 2.Definizione delle strutture 3.Accedere ai membri.

Introduzione Grid1 Introduzione ai Sistemi Grid. Introduzione Grid2 Generalità Un sistema Grid permette allutente di richiedere lesecuzione di un servizio.

FONDAMENTI DI INFORMATICA III WfMC-1. FONDAMENTI DI INFORMATICA III WfMC-2 WFMC Cose WfMC Workflow Management Coalition (WfMC), Brussels, è unorganizzazione.

New Features + Improvements Miglioramenti alle Situazioni contabili Distribuzione costi Intragruppo in registrazione fatture di acqusti Varie.

FUNZIONI DI GRUPPO Le funzioni di gruppo operano su un set di record restituendo un risultato per il gruppo. AVG ([DISTINCT|ALL] n) media, ignora i valori.

Componenti dell’architettura Oracle

A.N 991 Client server SQL DBMS TP monitors componenti middleware CORBA Web server OTM HTML Protocolli Sicurezza dati istruzioni funzioni oggetti interfacce.

SQL Server 2012 LocalDB.

Palermo, may 2010 F.Doumaz, S.Vinci (INGV-CNT- Gruppo di telerilevamento)

1 SQL Server Migration Day. 2 Scegliere Sino ad oggi chi doveva valutare, per scegliere, un database aziendale, operava questa scelta basandosi principalmente.

Università degli studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea Specialistica in Ingegneria Informatica Analisi e valutazione.

Filtered Index and Statistics Filtered Indexes Sergio Govoni

Attività Formativa Sviluppo di un WORKFLOW ENGINE di Dott. Riccardo Gasperoni Alessandro Caricato Gabriele Trabucco in collaborazione con Progesi S.p.A.

Project Review byNight byNight December 6th, 2011.

WPF per il client Desktop

Scheda Ente Ente Privato Ente Pubblico. 2ROL - Richieste On Line.

Fabio Cozzolino Vito Arconzo

3/29/2017 3:05 AM ©2005 Microsoft Corporation. All rights reserved.

Microsoft SQL Server Versioni di Microsoft SQL Server 2005 SQL Server EXPRESS Edition SQL Server MOBILE Edition SQL Server WORGROUP Edition SQL.

Scoprirete che su Office non si può solo contare ma anche sviluppare.

Installazione di Drupal su Linux (sistemista) Installazione step-by-step e note.

/ Elementi di C++ Introduzione a ROOT , Laboratorio Informatico ROOT warm up… Introduzione a RooFit Primo esercizio con RooFit Analisi.

VB.NET Sviluppo Applicazioni Desktop

Visual Studio Tools for Office: Developer Solutions Platform Fulvio Giaccari MCSD.NET / MCT Responsabile Usergroup ShareOffice Blog:

SQL Server 2005 Sicurezza Davide Mauri Factory Software

Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.

Project Review byNight byNight December 21th, 2011.

Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.

Project Review byNight byNight December 5th, 2011.

Giovedì 17 Aprile 2008 Heroes {Community} Launch Giovedì 17 Aprile 2008.

Architettura software La scelta architetturale: MVA (Model – View – Adapter/Control) The view is completely decoupled from the model such that view and.

Corso di Web Services A A Domenico Rosaci Patterns di E-Business D. RosaciPatterns per l'e-Business.

Collection & Generics in Java

Sistemi di elaborazione dell’informazione Modulo 3 -Protocolli applicativi Unità didattica 4 - Protocolli del Web Ernesto Damiani Lezione 3 – Esempi HTTP.

SQL Developer Lanciare sqldeveloper (alias sul desktop) / c:\Oracle\sqldeveloper Associare tutti i tipi di file, se volete Tasto destro sulla spina “connection”

Azure: Mobile Services e Notification Hub ANDREA GIUNTA.

JDBC Java DataBase Connectivity SISTEMI ITIS B. CASTELLI Anno Scolastico

Studente : Andrea Cassarà Classe: 5AII A.S. 2014/2015 Link Sito

Transcript della presentazione:

SQL Server 2005 Integration Services Franco Perduca Factory Software francop@factorysw.com

Introduzione Cosa sono i SSIS? Utilizzi Architettura Versioni 3/27/2017 2:28 AM Introduzione Cosa sono i SSIS? Utilizzi Architettura Versioni SSIS su piattaforme a 64bit © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Cosa sono i SSIS? Sono una piattaforma per costruire soluzioni di integrazione dati. Si tratta dunque di uno strumento ETL: Extract Transform Load Sono utilizzati in particolare nella costruzione di datawarehouse, dove spesso è necessario: caricare ed integrare dati da fonti eterogenee eseguire trasformazioni sui dati © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Cosa sono i SSIS? SSIS rimpiazza i DTS, presenti in SQL Server a partire dalla versione 7.0 I SSIS includono: Tool grafici per la creazione di package Task per le funzionalità di workflow Data source e data destination Task per la trasformazione, aggregazione, copia dei dati © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Quando li utilizziamo? Ecco alcuni scenari di utilizzo: Integrazione di dati eterogenei Popolamento di datawarehouse e datamart Popolamento di fact table e dimensioni Slowly changing dimension task Pulizia e standardizzazione dei dati Le funzionalità di trasformazione (anche via script) sono strumenti potenti per questo scopo Automatizzazione di funzionalità amministrative Backup/restore, copia di oggetti di SQL Server, process di cubi OLAP © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Architettura di Integration Services 3/27/2017 2:28 AM Architettura di Integration Services SSIS Service Start e stop di package Monitoraggio Gestione package storage SSIS runtime engine Esecuzione package Supporto per Logging Debug Configurazione SSIS data flow engine Gestione buffer per il movimento dati da source a destination Gestione trasformazioni SSIS clients (object model) Tool grafici e da command line API © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Tools Sviluppo Amministazione/Esecuzione Visual studio 2005 Business intelligence development studio Amministazione/Esecuzione SQL Server Management Studio DTUtil DTExec © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

SSIS e versioni SQL Server 2005 3/27/2017 2:28 AM SSIS e versioni SQL Server 2005 SQL Express SSIS non è disponibile per questa versione Workgroup Solo import/export wizard Standard Mancano solo le funzionalità avanzate di Business intelligence Enterprise/Developer Versione completa di tutte le funzionalità © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

SSIS e piattaforme a 64-bit 3/27/2017 2:28 AM SSIS e piattaforme a 64-bit Su server a 64bit le feature a 64bit sono installate nella cartella Program Files, mentre le feature a 32 bit sono nella cartella Program Files(x86) Gli unici tool a 64bit sono dtexec.exe, dtutil.exe, DTSWizard.exe Alcuni driver non sono disponibili, ad es: Microsoft OLE DB Provider for Jet Problema con Export su Excel Non è possibile disegnare package su Itanium Gli script devono essere precompilati Non è possibile utilizzare il task Execute DTS 2000 Package. Run64bitRuntime = False in Project Properties se si vuol eseguire il package con il runtime a 32bit Il job di tipo SSIS Package Execution del SQL Server agent utilizza sempre il runtime a 64bit. Per schedulare un package a 32bit occorre creare un job di tipo Operating System ed eseguire il package attraverso dtexec.exe a 32bit © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Oggetti e struttura di Integration Services 3/27/2017 2:28 AM Oggetti e struttura di Integration Services Package Control flow Container Task Variable © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Precedence Contraints 3/27/2017 2:28 AM Package Il package è un oggetto contenente una collection di oggetti interrelati. Tasks Connection Managers Precedence Contraints Log Providers Variables Containers For each Enumerators Tranform e Adapters © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Package E’ il punto di partenza per lo sviluppo di SSIS 3/27/2017 2:28 AM Package E’ il punto di partenza per lo sviluppo di SSIS Al package vuoto si aggiungono il control flow ed i data flow. E’ salvato in un file dtsx (xml) oppure nell’msdb © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Control Flow Il package contiene un control flow che: Container Task 3/27/2017 2:28 AM Control Flow Il package contiene un control flow che: Definisce i precedence contraints di Container Task © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Container Organizzano il package in unità più piccole Forniscono : 3/27/2017 2:28 AM Container Organizzano il package in unità più piccole Forniscono : Transaction scope Variable scope Execution scope Looping functions Breakpoints Error routing Logging scope. Il package stesso è un container. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Container For Each loop For loop Sequence container TaskHost 3/27/2017 2:28 AM Container For Each loop Esegue il workflow una volta per ciscun elemento di una collection For loop Esegue il workflow finchè una condizione non diventi falsa. Sequence container Unità di organizzazione dei task TaskHost Contenier di ciascun task Trasparente all’utente © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Task Eseguono il lavoro Ogni task ha un compito specifico 3/27/2017 2:28 AM Task Eseguono il lavoro Ogni task ha un compito specifico DataFlow Task: Sposta i dati Trasforma di dati Sono estensioni “pluggable” Possono essere sviluppati da terze parti © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Variables Gli oggetti di Integration Services sono isolati, non “vedono” gli altri oggetti Le varibili sono utilizzate come meccanismo di comunicazione tra gli oggetti. Possono contenere numerosi datatype: Stringhe Numeri Date Dataset Oggetti © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Variables Possono avere scope diversi: 3/27/2017 2:28 AM Variables Possono avere scope diversi: Package Container Task Aiutano a rendere i package più configurabili e flessibili. Esistono numerose variabili di sistema © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Connection Managers Forniscono un link al mondo estero a SSIS 3/27/2017 2:28 AM Connection Managers Forniscono un link al mondo estero a SSIS Alcuni Connection manager non forniscono una vera e propria connessione (ma solo un nome di un file) Altri conneciton manager effrono numerose informazioni oltre la connessione. Esistono numerosi connection manager: OLEDB File SQL Server Analysis Services Oracle XML SAP HTTP © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Log provider Ogni oggetto ha accesso all’infrastruttura di logging. 3/27/2017 2:28 AM Log provider Ogni oggetto ha accesso all’infrastruttura di logging. I log provider sono componenti “pluggable” che raccolgono le informazioni di log dei componenti e le scrivono in una determinata destinazione. I componenti dei SSIS mandano i loro log al runtime SSIS e non conoscono nulla dei log provider. Quindi i log provider rendono indipendenti i componenti di SSIS dal log. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Event Handlers I package ed i container (i loop e i task) generano eventi che possono essere intercettati attraverso gli EVENT HANDLERS Se un evento non è gestito dal proprio container, esso è rilanciato nel container di livello superiore nella gerarchia. Un event handler è simile ad un package: Ha task, data-flow e control flows © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Eventi Evento Descrizione 3/27/2017 2:28 AM OnError This event is raised by an executable when an error occurs. OnExecStatusChanged This event is raised by an executable when its execution status changes. OnInformation This event is raised during the validation and execution of an executable to report information. This event conveys information only, no errors or warnings. OnPostExecute This event is raised by an executable immediately after it has finished running. OnPostValidate This event is raised by an executable when its validation is finished. OnPreExecute This event is raised by an executable immediately before it runs. OnPreValidate This event is raised by an executable when its validation starts. OnProgress This event is raised by an executable when measurable progress is made by the executable. OnQueryCancel This event is raised by an executable to determine whether it should stop running. OnTaskFailed This event is raised by a task when it fails. OnVariableValueChanged This event is raised by an executable when the value of a variable changes. The event is raised by the executable on which the variable is defined. This event is not raised if you set the RaiseChangeEvent property for the variable to False. For more information, see . OnWarning This event is raised by an executable when a warning occurs. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Tipi di dati SSIS ha tipi di dati proprietari. Quando i dati sono caricati, essi sono convertiti nel data type di SSIS. Questo rende indipendente il Data Flow dalla sorgente dati. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Metadati I Metadati sono dati che descrivono altri dati. 3/27/2017 2:28 AM Metadati I Metadati sono dati che descrivono altri dati. SSIS è basato sui metadati. Grazie ai metadati è possibile validare il package a priori. Però è abbastanza laborioso cambiare i tipi di dati in input. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Connections © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Data source Data source views Connection Managers 3/27/2017 2:28 AM © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

3/27/2017 2:28 AM Data source E’ un riferimento ad una connessione creato al di fuori dei package Quando si crea un Data Source: BIDS aggiunge un connection manager (OLE DB) La proprietà DataSourceID di questo connection manager punta al data source. Più package vi possono fare riferimento. Semplifica l’aggiornamento © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Data Source View Descrive lo schema di un data source. 3/27/2017 2:28 AM Data Source View Descrive lo schema di un data source. Rende disponibili gli oggetti di un database che possono poi essere utilizzati per definire source o destination E’ estendibile: Posso creare campi calcolati Posso introdurre filtri Posso sostituire tabelle con named query. Non appartiene ad uno specifico package. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

Connection Manager Rappresentazione logica di una connessione 3/27/2017 2:28 AM Connection Manager Rappresentazione logica di una connessione In design time si imposta la proprietà ConnectionString. Al runtime SSIS crea una connessione basandosi su questa proprietà. Tipo Descrizione ADO Connects to ActiveX Data Objects (ADO) objects ADO.NET Connects to a data source by using a .NET provider. EXCEL Connects to an Excel workbook file. FILE Connects to a file or a folder. FLATFILE Connect to data in a single flat file. FTP Connect to an FTP server. HTTP Connects to a web server. MSMQ Connects to a message queue. MSOLAP90 Connects to an instance of SQL Server 2005 Analysis Services (SSAS) or an Analysis Services project. MULTIFILE Connects to multiple files and folders. MULTIFLATFILE Connects to multiple data files and folders. OLEDB Connects to a data source by using an OLE DB provider. ODBC Connects to a data source by using ODBC. SMOServer Connects to a SQL Server Management Objects (SMO) server. SMTP Connects to an SMTP mail server. SQLMOBILE Connects to a SQL Server Compact Edition database. WMI Connects to a server and specifies the scope of Windows Management Instrumentation (WMI) management on the server. © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

EXCEL E’ utilizzato per Microsoft Office Excel 2003 o precedenti. 3/27/2017 2:28 AM EXCEL E’ utilizzato per Microsoft Office Excel 2003 o precedenti. Per Excel 2007 occorre utilizzare: Microsoft Office 12.0 Access Database Engine OLE DB Provider Bisogna impostare: Extended Properties = Excel 12.0 © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.