File Transfer in Grids: TCP Tiziana.Ferrari@cnaf.infn.it INFN – CNAF Corso di Laurea specialistica in Informatica Anno Acc. 2005/2006 Griglie Computazionali File Transfer in Grids

Outline PART I: Transport Control Protocol (TCP) PART II: TCP: Controllo e prevenzione della congestione PART III: Ottimizzazioni References Griglie Computazionali File Transfer in Grids

PART I Transport Control Protocol Griglie Computazionali File Transfer in Grids

Transport Control Protocol Grid Architecture Application Collective Resource Transport Control Protocol We define Grid architecture in terms of a layered collection of protocols. Fabric layer includes the protocols and interfaces that provide access to the resources that are being shared, including computers, storage systems, datasets, programs, and networks. This layer is a logical view rather then a physical view. For example, the view of a cluster with a local resource manager is defined by the local resource manger, and not the cluster hardware. Likewise, the fabric provided by a storage system is defined by the file system that is available on that system, not the raw disk or tapes. The connectivity layer defines core protocols required for Grid-specific network transactions. This layer includes the IP protocol stack (system level application protocols [e.g. DNS, RSVP, Routing], transport and internet layers), as well as core Grid security protocols for authentication and authorization. Resource layer defines protocols to initiate and control sharing of (local) resources. Services defined at this level are gatekeeper, GRIS, along with some user oriented application protocols from the Internet protocol suite, such as file-transfer. Collective layer defines protocols that provide system oriented capabilities that are expected to be wide scale in deployment and generic in function. This includes GIIS, bandwidth brokers, resource brokers,…. Application layer defines protocols and services that are parochial in nature, targeted towards a specific application domain or class of applications. These are are are … arrgh Connectivity Fabric Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (*) 1 Basic Data Transfer 2 Reliability Flow Control 3 Multiplexing 4 Connections 5 Precedence and Security (*) RFC: Request For Comment Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (1) Basic Data Transfer: The TCP is able to transfer a continuous stream of octets in each direction between its users by packaging some number of octets into segments for transmission through the internet system. In general, the TCPs decide when to block and forward data at their own convenience. Sometimes users need to be sure that all the data they have submitted to the TCP has been transmitted. For this purpose a push function is defined. To assure that data submitted to a TCP is actually transmitted the sending user indicates that it should be pushed through to the receiving user. A push causes the TCPs to promptly forward and deliver data up to that point to the receiver. The exact push point might not be visible to the receiving user and the push function does not supply a record boundary marker. Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (2) Reliability: The TCP must recover from data that is damaged, lost, duplicated, or delivered out of order by the internet communication system. This is achieved by assigning a sequence number to each octet transmitted, and requiring a positive acknowledgment (ACK) from the receiving TCP. If the ACK is not received within a timeout interval, the data is retransmitted. At the receiver, the sequence numbers are used to correctly order segments that may be received out of order and to eliminate duplicates. Damage is handled by adding a checksum to each segment transmitted, checking it at the receiver, and discarding damaged segments. As long as the TCPs continue to function properly and the internet system does not become completely partitioned, no transmission errors will affect the correct delivery of data. TCP recovers from internet communication system errors. Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (3) Flow Control: TCP provides a means for the receiver to govern the amount of data sent by the sender. This is achieved by returning a "window" with every ACK indicating a range of acceptable sequence numbers beyond the last segment successfully received. The window indicates an allowed number of octets that the sender may transmit before receiving further permission. Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (4) Multiplexing: To allow for many processes within a single Host to use TCP communication facilities simultaneously, the TCP provides a set of addresses or ports within each host. Concatenated with the network and host addresses from the internet communication layer, this forms a socket. A pair of sockets uniquely identifies each connection. That is, a socket may be simultaneously used in multiple connections. The binding of ports to processes is handled independently by each Host. However, it proves useful to attach frequently used processes (e.g., a "logger" or timesharing service) to fixed sockets which are made known to the public. These services can then be accessed through the known addresses. Establishing and learning the port addresses of other processes may involve more dynamic mechanisms. Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (5) Connections: The reliability and flow control mechanisms described above require that TCPs initialize and maintain certain status information for each data stream. The combination of this information, including sockets, sequence numbers, and window sizes, is called a connection. Each connection is uniquely specified by a pair of sockets identifying its two sides. When two processes wish to communicate, their TCP's must first establish a connection (initialize the status information on each side). When their communication is complete, the connection is terminated or closed to free the resources for other uses. Since connections must be established between unreliable hosts and over the unreliable internet communication system, a handshake mechanism with clock-based sequence numbers is used to avoid erroneous initialization of connections. Griglie Computazionali File Transfer in Grids

TCP secondo l’RFC 793 (6) Precedence and Security: The users of TCP may indicate the security and precedence of their communication. Provision is made for default values to be used when these features are not needed. Griglie Computazionali File Transfer in Grids

Le funzioni di TCP nel dettaglio Scambio di informazioni di controllo tra mittente e destinatario Affidabilita’ (reliability): dato un sistema trasmissivo inaffidabile – cioè soggetto ad errori di trasmissione e a perdita di unità di dati – viene simulata l’affidabilità attraverso la ritrasmissione delle unità di dato perse. Ciò avviene attraverso 1. identificazione della perdita di messaggio 2. segnalazione dell’avvenuta perdita attraverso il meccanismo di positive acknowledgement: periodicamente il destinatario comunica il numero di sequenza dell’ultimo byte ricevuto Identificazione dell’esatto processo di destinazione presente sull’end-node ricevente (piu’ processi possono ricevere dati in modo concorrente) Controllo di congestione Prevenzione della congestione Unita’ dati TCP: l’unita’ di dati generata dal protocollo TCP (e poi incapsulata in un messaggio IP) viene detta segmento Griglie Computazionali File Transfer in Grids

Caratteristiche generali Viene creata una connessione virtuale tra mittente e destinatario attraverso lo scambio di informazioni di controllo (fase di call set-up). La creazione della connessione è seguita dalla fase di trasferimento dati vera e propria. Durante la trasmissione il protocollo TCP continua a scambiare informazioni di controllo. La connessione e’ di tipo bidirezionale: una direzione viene utilizzata per scambiare i byte di informazione utile (mittente destinatario), mentre la direzione opposta viene utilizzata per lo scambio di informazione di controllo (destinatario  sorgente) Per le applicazioni di natura interattiva in cui deve essere minimizzato il ritardo di ricezione delle unità di dato (e.g. telnet), viene forzato l’invio di pacchetti non appena è disponibile qualche byte di informazione (meccanismo di data push) Griglie Computazionali File Transfer in Grids

Send e receive buffer Si dice “buffer” un’area della memoria dell’applicazione che contiene i dati da scambiare tra mittente e destinatario. I dati vengono mano mano copiati - in unità di memoria di dimensione configurabile da parte di una applicazione - nell’area di memoria del sistema operativo attraverso la system call write(). Per ottimizzare il rapporto tra le informazioni di controllo poste nell’intestazione e la quantità di byte di dati disponibili nell’area data, un dato messaggio vene inviato soltanto nel momento in cui la parte di dati disponibile nel buffer eccede una data soglia configurabile. Send buffer: area di memoria in cui TCP pone i messaggi in attesa di trasmissione; il send buffer è anche detto “send socket buffer”. Receive buffer: area di memoria del sistema operativo in cui TCP pone i messaggi ricevuti; il receive buffer è anche detto “receive socket buffer” Per ogni nuova connessione vengono allocati una nuova coppia di send e receive buffer Griglie Computazionali File Transfer in Grids

Send e receive buffer (cont) Applicazione 1 Applicazione n dati dati ... AREE DI MEMORIA DELLE APPLICAZIONI write() write() AREA DI MEMORIA DELLE SISTEMA OPERATIVO SEND SOCKET Connessione 1 RECEIVE SOCKET Connessione n Griglie Computazionali File Transfer in Grids

MSS = MTU – sizeof(TCP header) – sizeof(IP header) Segmento Viene definita segmento la parte dati di una unita’ di trasmissione del protocollo TCP . Viene definito messaggio l’unione del segmento e dell’intestazione TCP. La dimensione massima di un segmento e’ pari alla dimensione massima del pacchetto IP, esclusi i byte dell’intestazione TCP e IP. Essa viene definita Maximum Segment Size (MSS): MSS = MTU – sizeof(TCP header) – sizeof(IP header) dati Intestazione TCP SEGMENTO TCP MESSAGGIO TCP Griglie Computazionali File Transfer in Grids

Intestazione TCP: formato Source port Destination port Sequence number Acknowledgement number Offset Reserved Code Window Checksum Urgent pointer Options Padding Data 8 ... 16 31 Source/destination port: identificazione dell’applicazione mittente/ricevente attive rispettivamente sul nodo mittente IP_source e nodo destinatario IP_dest Sequence number: numero di sequenza del primo byte del campo Data nell’ambito del flusso di byte generati dalla sorgente (ne identifica la posizione) Acknowledgement number: numero di sequenza del primo byte di dati atteso. Tale numero corrisponre al numero di sequenza successivo al numero di sequenza dell’ultimo segmento correttamente ricevuto. Il numero di sequenza si riferisce al flusso generato nel senso opposto del traffico (gli ackknowledgement sono generati sempre dal ricevente di un dato stream e quindi viaggiano nel senso inverso del flusso dati). Griglie Computazionali File Transfer in Grids

Intestazione TCP: formato (cont) Offset: indica la dimensione della porzione Data del segmento TCP Reserved: campo non specificato, riservato ad usi futuri Code: codice che identifica la funzione del segmento (e.g. Segmento di apertura di una connession: SYN, segmento di chiusura: FIN, segmento dati, segmento che include esclusivamente informazione di acknowledgement URG: urgent pointer set, il segmento non è soggetto a buffering al lato ricevente ACK: campo ACK valido PUSH: il segmento non è soggetto a buffering al lato mittente RST: reset della connessione SYN: synchronize sequence numbers FIN: il mittente ha raggiunto la fine del byte stream generato dalla applicazione Window: il mittente/ricevente comunica al ricevente/mittente la quantità di memoria disponibile per momorizzare dati Options: le opzioni servono per scambiare specifici elementi di informazione tra mittente e destinatario, come il Maximum Segment Size (la massima dimensione del segmento che può essere accettata) Checksum: controllo d’errore applicato alla sola intestazione TCP (non alla parte data), per il calcolo del codice di controllo d’errore si assume che il campo checksum contenga una stringa di 0 Griglie Computazionali File Transfer in Grids

Multiplexing di connessioni Il multiplexing di connessioni consiste nella possibilita’ di stabilire molteplici connessioni TCP concorrenti in trasmissione o ricezione in un dato nodo. A questo scopo, vengono utilizzate le porte TCP: ogni punto terminale di una connessione in un dato host H e’ definito da un coppia di identificatori detta socket cosi’ formata: Socket = (TCP port, IP address(H)) Dunque una connessione TCP tra due nodi H1 e H2 e’ identificata dalla coppia di socket: Connessione = ( TCP source port, add(H1), TCP destination port, add(H2) ) Dunque in un dato istante un socket puo’ essere utilizzato da piu’ di una connessione: es. il socket associato ad un www server o ad un ftp server. 131.154.3.1 conn1 Conn1=(sock1, sock4) Conn2=(sock2, sock4) Conn3=(sock3, sock5) Sock1=(port1, 131.154.3.1) 131.154.3.41 conn2 131.154.3.10 Sock2=(port2, 131.154.3.41) Sock4=(port4, 131.154.3.10) Sock3=(port3, 131.154.3.41) conn3 Sock5=(port5, 131.154.3.10) Griglie Computazionali File Transfer in Grids

Positive acknowledgement Numero di sequenza del byte MITTENTE P1 P2 P3 P4 P4 P5 t timeout RICEVENTE t ACK(s1+1) ACK(s2+1) ACK(s3+1) ACK(s3+1) ACK(s3+1) ACK duplicati Sn: numero di sequenza dell’ultimo byte dell’n-esimo messaggio; il numero di sequenza Iniziale del primo byte nel flusso di dati viene definito in fase di call set-up Svantaggio: ritardo tra la trasmissione di un messaggio e il successivo derivante dall’attesa dell’acknowledgement Griglie Computazionali File Transfer in Grids

Sliding window Ottimizzazione dell’algoritmo di positive acknowledgement in cui il mittente e’ autorizzato ad inviare m pacchetti (n byte) prima di porsi in attesa della ricezione dell’acknowledgement relativo al primo messaggio inviato. n rappresenta la dimensione della window, ovvero la quantita’ di dati che il mittente e’ autorizzato ad inviare dopo essersi posto in attesa dell’ack del primo messaggio della window stessa Nel caso in cui il tempo che intercorre tra l’invio del primo messaggio e la ricezione del relativo acknowledgement sia piccolo, il mittente può inviare dati in modo continuativo senza mai sperimentare periodi di inattività che limitano le prestazioni dell’applicazione. Il fenomeno contrario, in cui il mittente trascorre la maggior parte del tempo attendendo la ricezione dell’ack (per esempio su connessioni ad elevato tempo di propagazione, come nelle connessioni satellitari) viene detto: stop-and-wait. Il ricevente deduce la presenza di un messaggio perso nel caso in cui ack(Sn) non sia ricevuto entro un intervallo prestabilito, al termine del quale si procede con la ritrasmissione. La durata ottimale di tale timeout viene determinata stimando la media e la variazione del ritardo che intercorre tra la trasmissione di un messaggio e la ricezione del corrispondente acknowledgement (Round Trip Time) Griglie Computazionali File Transfer in Grids

Sliding window (cont) P1 P2 P3 P4 P5 P6 P4 P5 P6 P7 P5 t timeout t by Ipotesi: ogni messaggio ha lunghezza costante di 100 by, la dimensione della window e’ costante e pari a 400 by. 100by 200by 300by 400by 500by 600by 700by 800by by P1 P2 P3 P4 P5 P6 P4 P5 P6 P7 P5 t timeout t ACK(s1) ACK(s2) ACK(s3) ACK(s3) ACK(s3) ACK(s4) ACK(s5) ACK(s6) ACK(s7) Sn: numero di sequenza dell’ultimo byte dell’n-esimo messaggio; il numero di sequenza Iniziale del primo byte nel flusso di dati viene definito in fase di call set-up Griglie Computazionali File Transfer in Grids

Terminologia 1 2 3 4 1 2 3 AL LATO MITTENTE: AL LATO RICEVENTE: 1: sequence number vecchi che hanno già ricevuto un acknowledgement 2: sequence number che non hanno ancora ricevuto un acknowledgement 3: sequence number di pacchetti che non sono stati ancora trasmessi ma che posono essere trasmessi essendo essi all’interno della window (SEND WINDOW) 4: sequence number futuri relativi a dati che non possono essere trasmessi, essendo essi esterni alla window 1: sequence number di pacchetti di cui è già stato inviato l’ack 2: spazio di memoria disponibile per la ricezione di nuovi dati (RECEIVE WINDOW) 3: sequence number futuri che non sono ancora ammessi 1 2 3 4 not acked send window acked Byte sequence number window AL LATO RICEVENTE: 1 2 3 Byte sequence number acked receive window Seq number non ancora autorizzati Griglie Computazionali File Transfer in Grids

Terminologia (cont) offered window: la dimensione della finestra segnalata dal ricevente. L’offered window varia nel tempo, il valore massimo equivale alla dimensione di memoria disponibile per la memorizzazione di dati. Usable window: min [send window, offered window] Griglie Computazionali File Transfer in Grids

PART II TCP: Controllo e prevenzione della congestione Griglie Computazionali File Transfer in Grids

Controllo della congestione Per scoprire la presenza di un punto di congestione sul cammino di collegamento di due end-node, utilizzando un metodo che NON introduca traffico di monitoraggio aggiuntivo, può essere sufficiente effettuare una stima del ritardo di propagazione di un messaggio sul cammino (mittente  destinatario  mittente): RTT (Round Trip Time) Acknowledgement: messaggio inviato dal destinatario alla sorgente per segnalare che un dato messaggio Mi e’ stato ricevuto correttamente Data una stima del round trip time RTT, se dopo RTT sec ack(Mi) non e’ stato ancora ricevuto si assume che Mi sia stato perso e si procede con la ritrasmissione e la fase di controllo della congestione Griglie Computazionali File Transfer in Grids

1-way Delay =  ( M/ Ci + Li + propi ) One-way delay e RTT One-way delay: tempo che intercorre tra l’istante in cui l’ultimo bit del messaggio viene trasmesso e l’istante in cui il primo bit raggiunge la destinazione remota (one-way delay  RTT/2) data una connessione con n hop, detta Li la latenza dovuta alla memorizzazione e al forwarding del messaggio introdotta dall’i-esimo router, M la dimensione del messaggio, Ci e propi rispettivamente la capacita’ dell’i-esimo link di output e il tempo di propagazione del segnale fisico nel mezzo trasmissivo: 1-way Delay =  ( M/ Ci + Li + propi ) Connessioni dominate dal delay: Si tratta delle connessioni in cui il RTT e’ principalmente dovuto al tempo di propagazione fisica del segnale e dal tempo dovuto alle operazioni di memorizzazione e di forwarding nei router Es: connessioni intercontinentali caratterizzate da un numero elevato di hop Connessioni dominate dalla capacita’ dei link di collegamento: Si tratta delle connessioni caratterizzate da link a bassa velocita’, per le quali il RTT di un messaggio e’ fortemente influenzato dalla dimensione media del messaggio stesso, cioe’ 1-way delay e’ demoniato dal termine M/ Ci (Es: connessioni ISDN) Griglie Computazionali File Transfer in Grids

Stima del Round Trip Time (RTT) Componente dell’algoritmo di ritrasmissione necessaria per prevedere il tempo necessario di ricezione di un acknowledgement; é importante non sottostimare RTT per evitare ristrasmissioni nel caso di aumento del tempo di trasmissione dovuto ad un aumentato carico di traffico Smoothed RTT (SRTT): SRTT(i) :=  SRTT(i-1)+(1- )M : filtro, valore raccomandato 0.90 M: misura relativa al messaggio di cui si e’ ricevuto l’ack piu’ recente Retransmit timeout interval I: I = min[limSUP, max [limINF, ( *SRTT)]] : fattore di varianza del delay (es.  =2 per un carico di traffico  30% capacita’ di linea) limSUP : limite superiore dell’intervallo (es. 1 min) limINF : limite inferiore dell’intervallo (es. 1 sec) Griglie Computazionali File Transfer in Grids

Meccanismi di controllo di flusso Si dividono in due gruppi: Congestion control  (implementato dall’algoritmo “slow start”), serve per fronteggiare situazioni di congestione grave, ovvero quando scade il timeout al lato mittente. E’ caratterizzato da un incremento esponenziale della usable window. Congestion avoidance  viene adottato in assenza di congestione grave, ovvero solo in presenza di acknowledgement duplicati. Permette un incremento graduale della usable window (lineare) Griglie Computazionali File Transfer in Grids

Congestion Control (Slow Start) e Congestion Avoidance: meccanismo di base Connection opening : cwnd = 1 segment Congestion Avoidance Slow Start cwnd = SSTHRESH Exponential increase for cwnd until cwnd = SSTHRESH Additive increase for cwnd Retransmission timeout SSTHRESH:=cwnd/2 cwnd:= 1 segment Retransmission timeout SSTHRESH:=cwnd/2 Exponential increase for cwnd : for every useful acknowledgment received, cwnd := cwnd + (1 segment size) Additive increase for cwnd : for every useful acknowledgment received, cwnd := cwnd + (segment size)*(segment size) / cwnd it takes a full window to increment the window size by one. Griglie Computazionali File Transfer in Grids

CONGESTION CONTROL Griglie Computazionali File Transfer in Grids

CONGESTION CONTROL Slow start TCP entra nella fase slow start ogni volta che viene riscontrata la perdita di un messaggio (cioè come conseguenza dello scadere di un timeout). TCP è nella fase di Slow start anche inizialmente, in apertura della connessione, e ogni qual volta una connessione TCP viene riattivata dopo un periodo di pausa La fase slow start serve per limitare il numero di pacchetti in transito tra la sorgente e il destinatario in presenza di congestione oppure inizialmente, quando deve essere ancora determinata la frequenza di trasmissione dei pacchetti ottimale, per incrementare in modo graduale la frequenza di trasmissione IMPLEMENTAZIONE: viene utilizzata una variabile chiamata “congestion window” (indicata con la sigla: cwind). Cwind è un parametro il cui valore varia durante le varie fasi di un trasferimento TCP secondo le seguenti regole: all’inizio e per ogni restart di una trasmissione: cwind=1 ack ricevuto: cwind=cwind+const (e.g. const=1) Usable Window = min (cwind, RCV advertized window) Il tempo necessario affinché cwind raggiunga una ampiezza pari a W (supponendo che W sia espresso in pacchetti) varia secondo la regola: time = RTT * log2 W Griglie Computazionali File Transfer in Grids

capacita(I) > capacita(O) CONGESTION CONTROL Slow Start (cont) Vantaggi: non vengono inviati burst (=sequenze di pacchetti affiancati) che peggiorano la situazione di congestione nei colli di bottiglia della rate e nei router che iniettano traffico da una interfaccia I di input ad una di output O, dove capacita(I) > capacita(O) Svantaggi: Poiché la window viene ridotta di dimensione in presenza di congestione, in caso di elevata percentuale di pacchetti persi (packet loss) la connessione non è mai in grado di sfruttare pienamente la banda disponibile su alcuni tratti della rete In caso di connessioni ad alto tempo di propagazione (RTT >>, per esempio su link satellitari, in cui il tempo di propagazione e’ la componente più significativa della latenza end-to-end), la durata della fase slow start è considerevole, con un conseguente calo delle prestazione e una latenza superiore necessaria per raggiungere uno stato di “equilibrio” Griglie Computazionali File Transfer in Grids

Packet Time: intervallo di tempo fra 2 pacchetti consecutivi Esempio CONGESTION CONTROL RTT Packet Time: intervallo di tempo fra 2 pacchetti consecutivi Ack(P1) Cwin=2 Cwin=1 P1 P2 P3 t Ack(P2) Cwin=3 Ack(P3) Cwin=4 P4 P5 P6 P7 t Ack(P4) Cwin=5 Ack(P5) Cwin=6 Ack(P6) Cwin=7 Ack(P7) Cwin=8 Ack(P8) Cwin=9 t P8 P9 P10 P11 P12 P13 P14 P15 Griglie Computazionali File Transfer in Grids

CONGESTION AVOIDANCE Griglie Computazionali File Transfer in Grids

CONGESTION AVOIDANCE Congestion avoidance TCP si trova nella fase di congestion avoidance quando raggiunge una situazione di equilibrio (cioè TCP non è soggetto a perdita di pacchetti). In questa fase TCP tenta ancora di aumentare il parametro cwind allo scopo di verificare la possibilità di aumentare la frequenza di trasmissione dei pacchetti per raggiungere la MASSIMA frequenza trasmisssiva ammessa dai link di collegamento presenti nel cammino tra la sorgente e il destinatario. AUMENTO DELLA FREQUENZA TRASMISSIVA: Nella fase di congestion avoidance il parametro cwind viene aumentato in modo più lento e graduale, per esempio facendo in modo che anziché incremenatare esponenzialmente nel tempo (come nella fase di slow start), l’aumento sia lineare. In fase slow start: ack ricevuto, cwind=cwind+const In fase di congestion avoidance: ack ricevuto, cwind = cwind + const/cwind const = 1 // se cwin espresso in numero di segmenti const = MSS*MSS // cwin espresso in byte ovvero ad ogni scadere di 1 RTT, cwind aumenta all’incirca di 1 messaggio. Lo scopo e’ quello di evitare la sovrastima della banda disponibile per non entrare nuovamente nella fase di slow start. Griglie Computazionali File Transfer in Grids

Congestion avoidance (cont) DIMINUZIONE DELLA FREQUENZA TRASMISSIVA: In presenza di ack duplicati (ack del medesimo sequence number Si) la window size viene ridotta secondo la regola moltiplicativa: cwindi = d * cwindi-1 (d < 1, e.g. 1/2) cwind e’ espresso in byte In presenza di un timeout che scade si passa alla fase di slow start: cwind=1 In caso di congestione persistente la formula al punto 1. produce un effetto di decrescita esponenziale nel tempo del parametro (essendo applicata ad ogni messaggio iterativamente) Anche in fase di congestion avoidance, in ogni istante: W = min(cwind, RCV advertized win) Griglie Computazionali File Transfer in Grids

CONGESTION AVOIDANCE  CONGESTION CONTROL Come si passa dalla fase di congestion control a quella di congestion avoidance e viceversa? Si utilizza una variabile (threshold T) tale che: Inizialmente T=64 KB Se cwind < T: TCP in fase di slow start (congestion control) Se cwind  T: TCP in fase di congestion avoidance Quando si passa dalla fase di congestion avoidance a quella di congestion control? Al lato mittente ogni qual volta scade un timeout, il parametro T viene dimezzato: T := cwind/2, e cwind=1 A questo punto comincia la fase di slow start. Griglie Computazionali File Transfer in Grids

Slow start e congestion avoidance: esempio Cwnd average of the last 10 samples. Cwnd average over the life of the connection to that point SSTHRESH Slow start Congestion Avoidance Slow start : incremento rapido di cwnd Congestion Avoidance : incremento piu’ lento della cwnd Griglie Computazionali File Transfer in Grids

Infulenza del parametro threshold T sulle prestazioni Slow start Congestion avoidance SSTHRESH = 1460Kbyte SSTHRESH = 730Kbyte Durante la fase di congestion avoidance e in assenza di perdite di paccheti, cwnd incrementa di un segmento per ogni RTT. Nel nostro caso, essendo tutti i pacchetti ricevuti correttamente, la window incrementa di 1460 byte (supponendo una MTU di 1500 by) ogni 175 ms. Se la cwnd e’ pari a 730 kbyte, sono necessari almeno 4 minuti per ottenere una cwnd piu’ larga del prodotto bandwidth*delay (nel nostro esempio pari a 2,65 MByte). In altri termini, sono necessari almeno 4 min per ottenere un pieno utilizzo della banda. Griglie Computazionali File Transfer in Grids

Oscillazioni di cwnd in caso di perdita di pacchetti 2) Fast Recovery (Temporary state to repair the lost) Losses occur when the cwnd is larger than 3,5 Mbyte 1) A packet is lost New loss Slow start Cwnd when packets are lost because the window size is too large Nei casi in cui la cwnd e’ in grado di superare il bandwidth-delay product, possono verificarsi perdite di dati che comportano un abbassamento delle prestazioni. Nell’esempio illustrato dal grafico, la cwnd supera il bandwidth delay product e il throughput medio (dati trasmessi/tempo) viene drasticamente ridotto. Le perdite sono dovute all’insufficiente quantita’ di memoria in una o piu’ code trasmissive lungo il cammino tra il mettente e il ricevente. Griglie Computazionali File Transfer in Grids

Linux 2.4: Auto-tuning In nel kernel Linux 2.4, TCP adotta dei meccanismi di adattamento dinamico della dimensione dei socket buffer (da cui dipende cwnd) in funzione della banda disponibile tra una data coppia di nodi. Se l’applicazione setta esplicitamente le dimensioni dei socket attraverso la funzione setsocketopt(), allora auto-tuning e’ disabilitato. La dimensione dei socket buffer dipende da: La domanda di memoria kernel (in caso di penuria di memoria la dimensione dei socket viene limitata o addirittura ridotta) Un insieme di parametri del kernel che regolano il meccanismo di auto-tuning (vedi slide successiva) Linux 2.4 duplica l’ammontare di memoria richiesta da una applicazione attraverso la funzione setsocketopt() Linux 2.4 limita la dimensione di cwnd (cwnd moderation) attraverso la stima in ogni istante della quantita’ di pacchetti in viaggio verso il ricevente (di cui il mittente non ha ancora ricevuto il corrispondente ACK). In questo modo non viene ecceduto il prodotto bandwidth*delay e vengono minimizzati fenomini di elevato ritardo (per l’effetto dell’accumulo di dati nel send socket buffer al lato mittente) e perdita dovuti all’accodamento negli apparati di transito. Griglie Computazionali File Transfer in Grids

Parametri TCP nel Kernel Linux tcp_wmem – vector of 3 INTEGERs: min, default, max min: Amount of memory reserved for send buffers for TCP socket. Each TCP socket has rights to use it due to fact of its birth. Default: 4K Default: Amount of memory allowed for send buffers for TCP socket by default. This value overrides net.core.wmem_default used by other protocols, it is usually lower than net.core.wmem_default. Default: 16K max: Maximal amount of memory allowed for automatically selected send buffers for TCP socket. This value does not override net.core.wmem_max, "static" selection via SO_SNDBUF is referred to net.core.wmem_max. Default: 128K Griglie Computazionali File Transfer in Grids

Parametri TCP nel Kernel Linux (cont) tcp_rmem - vector of 3 INTEGERs: min, default, max min: Minimal size of receive buffer used by TCP sockets. It is guaranteed to each TCP socket, even under memory pressure. Default: 8K default: default size of receive buffer used by TCP sockets. This value overrides net.core.rmem_default used by other protocols. This value results in window of 65535 with default setting of tcp_adv_win_scale. Default: 87380 bytes max: maximal size of receive buffer allowed for automatically selected receiver buffers for TCP socket. This value does not override net.core.rmem_max, "static" selection via SO_RCVBUF does not use this. Default: 87380*2 bytes. Griglie Computazionali File Transfer in Grids

Parametri TCP nel Kernel Linux (cont) tcp_mem - vector of 3 INTEGERs: low, pressure, high low: below this number of pages TCP is not bothered about its memory appetite. pressure: when amount of memory allocated by TCP exceeds this number of pages, TCP moderates its memory consumption and enters memory pressure mode, which is exited when memory consumtion falls under "low". high: number of pages allowed for queueing by all TCP sockets. Defaults are calculated at boot time from amount of available memory. Num pages > LOW Num pages > PRESSURE Num pages > HIGH creation of additional TCP connections not allowed TCP_r/wmem_min MEMORY PRESSURE MODE TCP_r/wmem_max TCP_r/wmem_default Num pages < LOW Num pages < PRESSURE Num pages < HIGH Griglie Computazionali File Transfer in Grids

Parametri TCP nel Kernel Linux (cont) If sockets are explicitly set at the application level, no autotuning is applied and these are the parameters checked: net.ipv4.tcp_rmem_max: max receive socket buffer size net.ipv4.tcp_wmem_max: max send socket buffer size net.ipv4.tcp_rmem_default: default receive socket buffer size net.ipv4.tcp_wmem_default: default send socket buffer size Griglie Computazionali File Transfer in Grids

PARTE III TCP: Transport Control Protocol Ottimizzazioni del protocollo Griglie Computazionali File Transfer in Grids

Sommario Introduzione Fast Recovery + Fast Retransmit TCP SACK Active Queue Management: Random Early Discard Early Congestion Notification Conclusioni Griglie Computazionali File Transfer in Grids

Introduzione Diverse ottimizzazioni proposte negli ultimi anni: High Speed, Wireless, Link satellitari Congestion Control: migliorare il recupero dei pacchetti persi (quando la congestione si è già verificata) Fast Retransmit Fast Recovery SACK Congestion Avoidance: prevenire la congestione in modo proattivo, riducendo il rate di trasmissione prima che essa si verifichi RED ECN Griglie Computazionali File Transfer in Grids

Richiamo: Slow Start e Congestion Avoidance Open connection CWND = 1 MSS Slow Start Congestion Avoidance Incremento Esponenziale Incrementa CWND finche’ CWND= SSTHRESH Incremento Lineare Cwnd = SSTHRESH Retransmission Timeout SSTHRESH = CWND/2 CWND = 1 MSS Retransmission Timeout SSTHRESH = CWND/2 CWND = 1 MSS Incremento Esponenziale: CWND = CWND +MSS Incremento lineare: CWND = CWND + (MSS * MSS) / CWND Griglie Computazionali File Transfer in Grids

1. Fast Retransmit OBIETTIVO: MECCANISMO: la ritrasmissione di un pacchetto perso viene attivata senza dover attendere la scadenza del’RTT Time Out. Infatti il periodo di inattivita` durante lo scadere del timeout causa un sottoutilizzo del canale trasmissivo. MECCANISMO: Come nel TCP standard, nel caso che un pacchetto venga ricevuto fuori ordine (per via di un cambiamento nell’ordine di consegna dei segmenti TCP al nodo ricevente o a causa della perdita di uno o piu` segmenti TCP), il ricevente rispedisce un ACK duplicato. Quando il mittente rileva un ACK duplicato, puo’ dedurre che l’altro end-node ha ricevuto un segmento fuori ordine e che probabilmente il pacchetto mancante e’ stato perso. Per questo motivo effettua la ritrasmissione singola del segmento atteso. Poiche’ il segmento mancante potrebbe essere stato oggetto di un ritardo, il mittente aspetta 3 ACK duplicati prima di procedere con la ritrasmissione. (L’assunzione e’ che in caso di permutazione nell’ordine di consegna, il numero di ack duplicati sia contenuto, mentre in caso di vera e propria perdita tale numero sia piu’ elevato) Griglie Computazionali File Transfer in Grids

Scenario con Fast Retransmit (1) (2) (3) ACK 1 ACK 2 ACK 2 ACK 2 ACK 2 ACK 6 destinatario mittente PCKT 1 PCKT 2 PCKT 3 PCKT 4 PCKT 5 PCKT 6 PCKT 3 RTT Congestion Window = 4 PCKT Griglie Computazionali File Transfer in Grids

2. Fast Recovery OBIETTIVO: MECCASNISMO: Ottimizzazione delle prestazioni di TCP in caso di moderata congestione. Infatti, ogni qual volta un timeout scade, il protocollo TCP standard pone CWND = 1 e passa nello stato slow start. Questo tipo di comportamento risulta eccessivamente aggressivo in caso di perdite sporadiche ed isolate di segmenti TCP. MECCASNISMO: Dopo la ritrasmissione del segmento mancante, non si passa in slow start, ma piuttosto si rimane in congestion avoidance: Fast retransmit e fast recovery sono normalmente implementati insieme Griglie Computazionali File Transfer in Grids

ssthresh:= max (2*MSS, cwnd /2); Fast Recovery (cont) Sequenza dell’algoritmo (*): alla ricezione del terzo ack duplicato: ssthresh:= max (2*MSS, cwnd /2); Il segmento mancante viene ritrasmesso (fast retransmit) Si assume che i tre ack duplicati corrispondano a tre segmenti correttamente ricevuti: cwnd := ssthresh + 3*MSS Al primo ack ricevuto che garantisce un avanzamento della congestion window (non si tratta di un ack duplicato): cwnd := ssthresh Si assume che take ack sia quello ottenuto grazie alla ritrasmissione effettuata al passo 2. L’ack number contenuto in tale ack dovrebbe includere tutti i segmenti intermedi inviati dopo il segmento perso e prima della ricezione del primo ack duplicato. (*) si assume che cwnd sia espresso in numero di MSS Griglie Computazionali File Transfer in Grids

Incremento Esponenziale Fast Recovery (cont) Open connection CWND = 1 MSS Slow Start Congestion Avoidance Incremento Esponenziale Incrementa CWND finche’ CWND= SSTHRESH Incremento Lineare Cwnd = SSTHRESH Retransmission Timeout SSTHRESH = CWND/2 CWND = 1 MSS 3 DUP ACK 3 DUP ACK Retransmission Timeout SSTHRESH = CWND/2 CWND = 1 MSS Fast Recovery SSTHRESH = CWND/2 Incremento Esponenziale Retransmission Timeout SSTHRESH = CWND/2 CWND = 1 MSS Ricevuto ACK mancante CWND = CWND/2 Griglie Computazionali File Transfer in Grids

3. Selective Acknowledgment (SACK) TCP puo’ sperimentare scarse prestazioni quando si verificano perdite multiple in una singola finestra di spedizione, poiche’ in questo caso l’utilizzo ripetuto del protocollo fast recovery comporta comunque delle interruzioni della trasmissione: il mittente deve infatti ogni volta attendere la ricezione di 3 ack duplicati (o nel caso peggiore lo scadere di un timeout). OBIETTIVO: Informare il mittente in modo esplicito dei pacchetti che NON sono stati ricevuti correttamente attraverso un meccanismo di Acknowledgement potenziato (attraverso il campo option dell’header TCP) Al contrario, il protocollo TCP standard utilizza un semplice meccanismo di ACK cumulativo, il quale permette al mittente di notificare al massimo della perdita di un singolo messaggio. Il mittente e’ autorizzato a ritrasmettere in ordine sequenziale solo i pacchetti che sono stati persi La possibilita’ di utilizzare l’opzione SACK viene negoziata all’apertura della connessione tramite il pacchetto SYN L’opzione SACK e’ spedita dal ricevente per informare il mittente dei blocchi non contigui di dati ricevuti ed e’ utilizzata solo in caso di presenza di blocchi di dati ricevuti in modo non contiguo (a causa della perdita di messaggi TCP o alla ricezione in un ordine diverso da quello di invio). Griglie Computazionali File Transfer in Grids

Esempio: trasmissione di messaggi SACK PCKT 1 PCKT 2 ACK 1, [] PCKT 3 Nota: questo esempio mostra il comportamento del ricevente TCP che implementa il protocollo SACK, su ricezione di una data sequenza di messaggi TCP (e non rispecchia il reale meccanismo di congestion avoidance/control adottato dalla sorgente su ricezione di messaggi SACK e di ACK duplicati). PCKT 4 ACK 1, [3] PCKT 5 PCKT 6 ACK 1, [3], [5] PCKT 2 ACK 1, [3], [5,6] ACK 3, [5,6] PCKT 4 ACK 6, [] Griglie Computazionali File Transfer in Grids

Comportamento del nodo mittente Il comportamento di un mittente TCP su ricezione di un messaggio SACK deve rispettare le seguenti regole: Non si deve procedere alla ritrasmissione di dati se un solo SACK è ricevuto (questo per rendere il protcollo più robusto in caso di riordino di pacchetti). Il principio di ritrasmissione allo scadere di un timeout deve essere rispettato, così come il meccanismo di congestion control e avoidance. Uno o più messaggi mancanti (NON appartenenti ad un blocco SACK) possono essere ri-inviati, se il parametro cwnd lo permette (a differenza di Fast retransmit) In “esempio del meccanismo di acknowledgement”: il mittente provvede alla trasmissione di uno o più messaggi mancanti (in base a quanto permesso dal parametro cwnd) su ricezione del secondo SACK duplicato. Questo consente di partire con la ritrasmissione prima ancora di ricevere 3 ACK duplicati (in base all’algoritmo di fast retransmit). Viene inviato un nuovo messaggio solo su ricezione di un nuovo SACK. Griglie Computazionali File Transfer in Grids

Formato dell’opzione SACK Block: blocco contiguo di byte ricevuti correttamente dal ricevente Length: numero dei blocchi non contigui contenuti nel campo “option” Left Edge: il numero di sequenza (32 bit) del primo byte del blocco Right Edge: il minimo numero di sequenza (32 bit) di byte non appartenente al blocco Ack num Left edge Right edge acked received received Byte sequence number Length Left Edge of 1st Block Right Edge of 1st Block Left Edge of nth Block Right Edge of nth Block Source Port Destination port Sequence number Acknowledgement number offset Res Code Window Checksum Urgent pointer Options Data ... Formato del header TCP Formato dell’opzione SACK Griglie Computazionali File Transfer in Grids

Numero max di blocchi Data offset: è il campo dell’intestazione TCP che indica il numero di word di 32 bit contenute nell’header TCP. Essendo tale campo di 4 bit il numero massimo di word che una intestazione può contenere è pari a 15. Lunghezza minima dell’intestazione si registra quando il campo “options” è assente. La lunghezza minima è pari a 5 word (20 byte). Qundi la lunghezza massima dell’opzione SACK è pari a 10 word (40 byte). La lunghezza dell’opzione SACK è pari a ½ w + 2w*n dove n è il numero di blocchi contenuti nell’opzione, quindi in numero massimo di blocchi che possono essere inclusi è pari a 4. In presenza di altre opzioni, il numero reale di blocchi può essere inferiore. Griglie Computazionali File Transfer in Grids

SACK: Esempi di spedizione di messaggi SACK Esempio 1: The first 4 segments are received but the last 4 are dropped. The data receiver will return a normal TCP ACK segment acknowledging the sequence number of the first missing byte, with no SACK option. Esempio 2: The first segment is dropped but the remaining 7 are received. Upon receiving each of the last seven packets, the data receiver will return a TCP ACK segment that acknowledges sequence number 5000 and contains a SACK option specifying one block of queued data: Triggering Segment ACK Left Edge Right Edge 5000 (lost) 5500 5000 5500 6000 6000 5000 5500 6500 6500 5000 5500 7000 7000 5000 5500 7500 7500 5000 5500 8000 8000 5000 5500 8500 8500 5000 5500 9000 Griglie Computazionali File Transfer in Grids

SACK: Esempi di spedizione di messaggi SACK (cont) Esempio 3: The 2nd, 4th, 6th, and 8th (last) segments are dropped. The data receiver ACKs the first packet normally. The third, fifth, and seventh packets trigger SACK options as follows: Triggering Seg. ACK 1st Blck 2nd Blck 3rd Blck Left Right Left Right Left Right Edge 5000 5500 5500 (lost) 6000 5500 6000 6500 6500 (lost) 7000 5500 7000 7500 6000 6500 7500 (lost) 8000 5500 8000 8500 7000 7500 6000 6500 8500 (lost) Griglie Computazionali File Transfer in Grids

SACK: esempio del meccanismo di acknowledgement Griglie Computazionali File Transfer in Grids

Metodi di Congestion Avoidance avanzati Obiettivo: prevenire la congestione riducendo il rate di trasmissione prima che essa si verifichi. Il meccanismo classico di controllo della congestione di TCP considera la rete come una “scatola nera”. Usare la perdita dei pacchetti come la sola indicazione della congestione non e’ sufficiente per applicazioni sensibili alla perdita e al ritardo dei pacchetti (e.g. applicazioni multimediali) Due strategie: Router-Centric: ogni router monitora la lunghezza della propria coda e , prima che la congestione si verifichi, notifica esplicitamente o implicitamente gli end-node (e.g. esempio di algoritmo: ECN) Host-Centric: gli end-point osservano il numero di pacchetti che riescono ad arrivare a destinazione e adattano il rate di conseguenza (e.g. TCP classico) Griglie Computazionali File Transfer in Grids

Router-Centric: Active Queue Management Le perdite dei pacchetti in caso di congestione sono causate dalla saturazione dei buffer all’interno dei router Drop Tail: il router in caso di overflow elimina i pacchetti eccedenti in modo indiscriminato, non distinguendo tra i diversi flussi di pacchetti sincronizzazione delle perdite tra i flussi Active Queue Management: gestione piu’ articolata delle code Griglie Computazionali File Transfer in Grids

4. Random Early Detection (RED) I meccanismi di AQM differiscono in base a: Il metodo utilizzato per rilevare l’imminente congestione Il tipo di azione utilizzata per notificare la congestione Nel caso in cui la lunghezza stimata della coda ecceda una certa soglia configurabile, i pacchetti in arrivo vengono scartati in base ad una probabilità P. SampleLen: lunghezza istantanea della coda AvgLen: lunghezza media della coda Weight: parametro compreso tra 0 e 1 che determina il peso del valore istantaneo rispetto alla media finora calcolata AvgLen = (1 - Weight) * AvgLen + Weight * SampleLen Griglie Computazionali File Transfer in Grids

RED (cont) MaxThreshold MinThreshold AvgLen If AvgLen <= MinThreshold queue the packet Else if MinThreshold < AvgLen < MaxThreshold calculate probability P drop the arriving packet with probability P Else if MaxThreshold <= AvgLen drop the arriving packet (i.e. drop probability is equal to 1) MaxThreshold MinThreshold AvgLen Griglie Computazionali File Transfer in Grids

5. Explicit Congestion Notification La presenza di congestione viene stimata anche in assenza di pacchetti persi. Comporta una modifica sia del software di gestione dei router sia degli stack negli end-node. L’indicazione da parte del router del superamento di una soglia di allerta per una determinata lunghezza di coda, viene effettuata marcando i pacchetti IP in transito dalla coda. Grazie alla notifica di una imminente congestione, il mittente può ridurre la velocità di trasmissione senza subire una degradazione della prestazione dovuta alla perdita e alla conseguente ritrasmissione di un pacchetto. ECN non richiede che tutti i router intermedi debbano neccesariamente supportare il protocollo, in altre parole, ECN può essere implementato in modo incrementale. ECN richiede: Segnalazione a livello IP (per notificare che un dato nodo è in grado di settare i 2 bit ECN nell’intestazione IP, e per permettere ad un router di segnalare uno stato di cogestione imminente) Segnalazione a livello TCP: per comunicare al mittente TCP che un messaggio ha sperimentato congestione per comunicare al ricevente TCP che il parametro cwnd è stato ridotto in risposta alla notifica del destinatario) Griglie Computazionali File Transfer in Grids

ECN: riduzione della congestion window Meccanismo di reazione alla notifica di presenza di congestione: Il mittente adotta il meccanismo di fast recovery (TTHRESH = ½ CWND; CWND’ = ½ CWND) Il parametro CWND è ridotto secondo le seguenti regole: E’ ridotto solo una volta, i successivi messaggi SACK non generano ulteriori modifiche del parametro. Una volta ridotto, il parametro non viene più dimezzato fin tanto che il numero di byte pari al valore di di CWND appena prima della ricezione del messaggio SACK, non riceve il corrispondente ACK. Il parametro CWND non viene modificato nel caso in cui esso sia già stato ridotto recentemente (nel precedente intervallo di tempo pari al RTT). Griglie Computazionali File Transfer in Grids

ECN Codepoint DS Field ECN Campo TOS header IP version Hlen TOS Length TOS: Type Of Service DS Field: Differentiated Service ECN: Explicit Congestion Notification Ident Flags Offset TTL Protocol Checksum Source Addr Destination Addr Options (variable) PAD DS Field ECN Campo TOS header IP Griglie Computazionali File Transfer in Grids

ECN Codepoint Il campo CE del header IP e’ di 2 bit 10, 01 usati dal mittente pe indicare che il protocollo di trasporto puo’ utilizzare l’opzione ECN i router devono trattarli come equivalenti 00 : indica un pacchetto che non usa ECN 11 : utilizzato dal router per notificare la presenza di congestione Griglie Computazionali File Transfer in Grids

Conclusioni Il successo di Internet si basa sulla capacita’ di TCP di assicurare un servizio di trasporto efficiente, robusto e adattivo Le esigenze delle applicazioni e degli ambienti attuali sono molto diverse rispetto a quelle che hanno portato alla definizione dei sui mecchanismi originali Wires Vs Wireless Durata sessione Reti ad alta velocita’ Fairness: modifiche che portano ad un comportamento troppo aggressivo da parte del mittente porterebbe al collasso della rete Griglie Computazionali File Transfer in Grids

Bibliografia RFC 2001 (1997): TCP SLOW START, CONGESTION AVOIDANCE, FAST RETRANSMIT, FAST RECOVERY RFC 1072: TCP Extensions for Long-Delay Paths RFC 2018 (1996): TCP SELECTIVE ACKNOWLEDGMENT OPTIONS S. Floyd and V. Jacobson, Random Early Detection Gateways for Congestion Avoidance, IEEE/ACM Transactions on Networking, 1(4), August 1993. RFC 3168 (2001): The Addition of Explicit Congestion Notification (ECN) to IP TCP VEGAS: END TO END CONGESTION AVOIDANCE ON A GLOBAL INTERNET (L.S.Brakmo and L.L.Peterson, 1995) END TO END CONGESTION DETECTION AND AVOIDANCE IN WIDE AREA NETWORKS (L.S.Brakmo, 1996) Griglie Computazionali File Transfer in Grids