Salvatore Pellitteri @pellittsa Upload data on Azure SQL Database using Azure Messaging, Stream Analytics & Logic Apps Salvatore Pellitteri @pellittsa.

Presentazione sul tema: "Salvatore Pellitteri @pellittsa Upload data on Azure SQL Database using Azure Messaging, Stream Analytics & Logic Apps Salvatore Pellitteri @pellittsa."— Transcript della presentazione:

1 Salvatore Pellitteri @pellittsa
Upload data on Azure SQL Database using Azure Messaging, Stream Analytics & Logic Apps Salvatore Pellitteri @pellittsa

2 Sponsors

3 Organizers getlatestversion.it

4 Salvatore Pellitteri | @pellittsa
Developer Team Manager in Microsys Srl. Microsoft MVP Azure – Application Integration Microsoft P-Seller competenza Data Platform SQL / BI / Integration Architect.

5 Agenda Introduzione Upload dataset su SQL Database
Event Hubs Stream Analytics Upload file su SQL Database Service Bus Logic Apps

6 Introduzione

7 Introduzione Strumenti a disposizione
SQL Server Integration Services BCP Bulk Copy API … Qual’è il focus di questa presentazione ? - “Consideriamo soluzioni alternative”

8 Introduzione Quali sono gli scenari ? IOT Application Integration
B2B Integration … In generale piccoli pacchetti di dati ma frequenti

9 Introduzione Quali sono le sfide ?
Upload dataset di sorgenti dati eterogenee e distribuite geograficamente Upload di flat file con schemi complessi

10 Upload datasets su SQL Database

11 Layers On-Prem Custom Code Az Event Hubs Az Stream Analytics
Az SQL Database

12 Azure Event Hubs

13 Azure Event Hubs «Microsoft Azure Event Hubs is a managed platform service that provides a foundation for large-scale data intake in a broad variety of scenarios»

14 Azure Event Hubs Enterprise messaging scenarios with sophisticated capabilities sequencing dead-lettering transaction support strong delivery assurances high throughput and processing flexibility for event streams

15 Azure Event Hubs Partizioni Event Hub Partition 1 Partition 2
Partition N

16 Sviluppare un event publisher
1. Installare il NuGet Package 2. Scrivere il codice using System.Threading; using Microsoft.ServiceBus.Messaging; ... string connectionString = "{Connection String}"; string eventHubName = "{Event Hub Name}"; var eventHubClient = EventHubClient.CreateFromConnectionString(connectionString, eventHubName); eventHubClient.Send(new EventData(Encoding.UTF8.GetBytes({Data}))); // Max 256KB eventHubClient.Close();

17 Azure Stream Analytics
«Azure Stream Analytics consente di sviluppare e distribuire rapidamente soluzioni a basso costo per ottenere informazioni approfondite in tempo reale da dispositivi, sensori, infrastruttura e applicazioni»

18 Azure Stream Analytics
Event Consumer - Event Hub - IoT Hub - Blob Storage

19 Azure Stream Analytics
Input Event Hub IoT Hub Blob Storage Query Output SQL Database Table Storage Service Bus * DocumentDB Power BI Data Lake Store < >

20 Check List Resource Group Event Hubs Namespace Event Hubs queue
Stream Analytics Job Job Input Job Output Job Query

21 DEMO Upload Dataset su Azure SQL Database

22 Upload flat file su SQL Database

23 Introduzione

24 Layers On-Prem Custom Code Az Service Bus Az Logic Apps
Az SQL Database

25 Azure Service Bus Una coda con un meccanismo di publish-and-suscribe

26 Azure Service Bus - Queue
Comunicazione unidirezionale Ogni coda funge da intermediario (AKA broker) che archivia i messaggi inviati fino a quando non vengono ricevuti Ogni messaggio viene ricevuto da un singolo destinatario Message Publisher Queue Message Consumer

27 Sviluppare un event publisher
1. Installare il NuGet Package 2. Scrivere il codice Ricorda Qualcosa ? using Microsoft.ServiceBus.Messaging; ... string connectionString = "{Connection String}"; string queueName = "{Queue Name}"; var queueClient = QueueClient.CreateFromConnectionString(connectionString, queueName); // Max 256KB Standard Subscription – Max 1MB Premium Subscription queueClient.Send(new BrokeredMessage({data})); queueClient.Close();

28 Azure Logic Apps «Logic Apps provide a way to simplify and implement scalable integrations and workflows in the cloud»

29 Azure Logic Apps

30 Azure Logic Apps Concetti Workflow Trigger Actions Managed Connectors
Enterprise Integration Pack

31 Check List Resource Group Service Bus Namespace Service Bus queue
API connection to Service Bus queue API connection to SQL database Storage Account App Service Plan Function App Integration Account Upload flat file schema Upload sql procedure parameter schema Upload transformation Logic App

32 DEMO Upload Flat File su Azure SQL Database

33 Risorse

34 Q&A Domande ?

35 #sqlsatParma #sqlsat566 Grazie !