Il pipelining: tecniche di base Lucidi fatti in collaborazione con lIng. Valeria Cardellini

1 Definizione di pipelining E una tecnica –per migliorare le prestazioni del processore –basata sulla sovrapposizione dellesecuzione di più istruzioni appartenenti ad un flusso di esecuzione sequenziale Analogia con la catena di montaggio

2 Idea base Il lavoro svolto da un processore con pipelining per eseguire unistruzione è diviso in passi (stadi della pipeline), che richiedono una frazione del tempo necessario allesecuzione dellintera istruzione Gli stadi sono connessi in maniera seriale per formare la pipeline; le istruzioni: –entrano da unestremità della pipeline –vengono elaborate dai vari stadi secondo lordine previsto –escono dallaltra estremità della pipeline S1S1 SkSk S2S2 … Ingresso Uscita

3 Un esempio pratico Compiti –Lavaggio –Asciugatura –Stiratura –Riordino Nella soluzione con pipeline viene avviato il ciclo di lavaggio successivo mentre quello precedente è ancora in esecuzione Soluzione sequenziale Soluzione con pipeline

4 Confronto tra ciclo singolo e pipeline Ciclo singolo Pipeline Esempio di tempi di esecuzione delle diverse classi di istruzione IstruzioneIFIDEXMEMWBTotale lw200 ps100 ps200 ps 100 ps800 ps sw200 ps100 ps200 ps 700 ps formato R200 ps100 ps200 ps100 ps600 ps beq200 ps100 ps200 ps500 ps

5 Alcuni commenti sul pipelining La presenza della pipeline aumenta il numero di istruzioni contemporaneamente in esecuzione Quindi, introducendo il pipelining nel processore, aumenta il throughput … –Throughput: numero di istruzioni eseguite nellunità di tempo … ma non si riduce la latenza della singola istruzione –Latenza: tempo di esecuzione della singola istruzione, dal suo inizio fino al suo completamento –Unistruzione che richiede 5 passi, continua a richiedere 5 cicli di clock per la sua esecuzione con pipelining

6 Stadi della pipeline Il tempo necessario per fare avanzare unistruzione di uno stadio lungo la pipeline corrisponde ad un ciclo di clock di pipeline Poiché gli stadi della pipeline sono collegati in sequenza, devono operare in modo sincrono –Avanzamento nella pipeline sincronizzato dal clock –Durata del ciclo di clock del processore con pipeline determinata dalla durata dello stadio più lento della pipeline Es.: 200 ps per lesecuzione delloperazione più lenta –Per alcune istruzioni, alcuni stadi sono cicli sprecati Obiettivo dei progettisti: bilanciare la durata degli stadi Se gli stadi sono perfettamente bilanciati, lo speedup ideale dovuto al pipelining è pari al numero di stadi della pipeline tempo tra istruzioni no pipeline tempo tra istruzioni pipeline Speedup ideale pipeline = = num. stadi pipeline

7 Stadi della pipeline (2) Ma, in generale, gli stadi della pipeline non sono perfettamente bilanciati Lintroduzione del pipelining comporta quindi costi aggiuntivi –Lintervallo di tempo per il completamento di unistruzione è superiore al minimo valore possibile –Lo speedup reale sarà minore del numero di stadi di pipeline introdotto In genere una pipeline a 5 stadi non riesce a quintuplicare le prestazioni

8 Miglioramento delle prestazioni Esempio: sequenza di 3 istruzioni lw (vedi lucido 4) Speedup ideale pari a 5, ma miglioramento più modesto –3 istruzioni lw senza pipeline: = 2400 ps –3 istruzioni lw con pipeline: = 1400 ps –Quindi 1400 ps invece di 2400 ps (2400/1400 = 1.7 circa) Differenza dovuta al tempo necessario a riempire e svuotare la pipeline –Servono 2 stadi (400 ps) per riempire e svuotare la pipeline In generale: partendo dalla pipeline vuota con k stadi, per completare n istruzioni occorrono k + (n-1) cicli di clock –k cicli per riempire la pipeline e completare lesecuzione della prima istruzione –n-1 cicli per completare le rimanenti n-1 istruzioni

9 Miglioramento delle prestazioni (2) Allaumentare del numero di istruzioni n, il rapporto tra i tempi totali di esecuzione su macchine senza e con pipeline si avvicina al limite ideale –Il tempo per riempire la pipeline diventa trascurabile rispetto al tempo totale per completare le istruzioni –1000 istruzioni lw senza pipeline: = ps –1000 istruzioni lw con pipeline: 200 ( ) = ps – ps invece di ps (800000/ = 3.98 circa)

10 Miglioramento delle prestazioni (3) Nel caso asintotico (n ) –La latenza della singola istruzione lw peggiora Passa da 800 ps (senza pipelining) a 1000 ps (con pipelining) –Il throughput migliora di 4 volte Passa da 1 istruzione lw completata ogni 800 ps (senza pipelining) ad 1 istruzione lw completata ogni 200 ps (con pipelining) Se consideriamo un processore a singolo ciclo da 1000 ps (composto da 5 stadi ciascuno da 200 ps) ed un processore con pipelining (con 5 stadi da 200 ps ciascuno) nel caso asintotico –La latenza della singola istruzione rimane invariata e pari a 1000 ps –Il throughput migliora di 5 volte Passa da 1 istruzione completata ogni 1000 ps (senza pipelining) ad 1 istruzione completata ogni 200 ps (con pipelining)

11 Linsieme di istruzioni MIPS ed il pipelining La progettazione dellinsieme di istruzioni del MIPS permette la realizzazione di una pipeline semplice ed efficiente –Tutte le istruzioni hanno la stessa lunghezza (32 bit) Più semplice il caricamento dellistruzione nel primo passo e la decodifica dellistruzione nel secondo passo –Pochi formati di istruzioni con similitudine tra i formati Possibile iniziare la lettura dei registri nel secondo passo, prima di sapere di che istruzione (e formato) si tratta –Le operazioni in memoria sono limitate alle istruzioni di load/store Possibile usare il terzo passo per calcolare lindirizzo –Allineamento degli operandi in memoria (un solo ciclo di lettura per leggere i 32 bit) Possibile usare un solo stadio per trasferire dati tra processore e memoria –Ogni istruzione MIPS scrive al più un risultato e lo fa nellultimo ciclo della pipeline

12 Esecuzione delle istruzioni nel processore con pipeline IF Instruction Fetch ID Instruction Decode EX EXecute MEM MEMory access WB Write-Back Istruzioni logico-aritmetiche IF Prel. istr. e incr. PC ID Lettura reg. sorgente EX Op. ALU su dati letti WB Scrittura reg. dest. Istruzioni di load ID Lettura reg. base EX Somma ALU WB Scrittura reg. dest. IF Prel. istr. e incr. PC MEM Prelievo dato da M Istruzioni di store IF Prel. istr. e incr. PC IDEX Somma ALU MEM Scrittura dato in M Istruzioni di beq ID Lettura reg. sorgente EX Sottrazione ALU e indirizzo salto MEM Scrittura PC IF Prel. istr. e incr. PC Lettura reg. base e sorgente

13 Come progettare lunità di elaborazione? La suddivisione dellistruzione in 5 stadi implica che in ogni ciclo di clock siano in esecuzione 5 istruzioni –La struttura di un processore con pipeline a 5 stadi deve essere scomposta in 5 parti (o stadi di esecuzione), ciascuna della quali corrispondente ad una delle fasi della pipeline Occorre introdurre una separazione tra i vari stadi –Registri di pipeline Inoltre, diverse istruzioni in esecuzione nello stesso istante possono richiedono risorse hardware simili –Replicazione delle risorse hardware Riprendiamo lo schema dellunità di elaborazione a ciclo singolo ed identifichiamo i 5 stadi

14 Lunità di elaborazione a ciclo singolo Percorso allindietro Spostato in IF

15 Lunità di elaborazione con pipeline Principio guida: –Permettere il riuso delle componenti per listruzione successiva Introduzione di registri di pipeline (registri interstadio) –Ad ogni ciclo di clock le informazioni procedono da un registro di pipeline a quello successivo –Il nome del registro è dato dal nome dei due stadi che separa Registro IF/ID (Instruction Fetch / Instruction Decode) Registro ID/EX (Instruction Decode / EXecute) Registro EX/MEM (Execute / MEMory access) Registro MEM/WB (MEMory access / Write Back) –Il PC può essere considerato come un registro di pipeline per lo stadio IF Rispetto allunità a ciclo singolo, il multiplexer del PC è stato spostato nello stadio IF –Per evitare conflitti nella sua scrittura in caso di istruzione di salto

16 Lunità di elaborazione con pipeline (2) Quale è la dimensione dei registri di pipeline ricavabile dallo schema? ­IF/ID: 64 bit (32+32) ­ID/EX: 128 bit ( ) ­EX/MEM: 97 bit ( ) ­MEM/WB: 64 bit (32+32)

17 Uso dellunità con pipeline Come viene eseguita unistruzione nei vari stadi della pipeline? Consideriamo per prima listruzione lw –Prelievo dellistruzione –Decodifica dellistruzione e lettura dei registri –Esecuzione (uso dellALU per il calcolo dellindirizzo) –Lettura dalla memoria –Scrittura nel registro Analizziamo poi lesecuzione dellistruzione sw Infine consideriamo lesecuzione contemporanea di più istruzioni

18 Esecuzione di lw: primo e secondo stadio

19 Esecuzione di lw: terzo stadio

20 Esecuzione di lw: quarto e quinto stadio

21 Esecuzione di sw: terzo stadio Il valore del secondo registro viene scritto nel registro ID/EX per poterlo usare nello stadio MEM

22 Esecuzione di sw: quarto e quinto stadio

23 Caccia allerrore… Quale registro di destinazione viene scritto? -Il registro IF/ID contiene unistruzione successiva a lw Soluzione -Occorre preservare lidentificativo del registro di destinazione

24 Soluzione Lidentificativo del registro di destinazione viene scritto nei registri di pipeline: -Prima in ID/EX, poi in EX/MEM, infine in MEM/WB

25 Due istruzioni in esecuzione Consideriamo la sequenza di istruzioni MIPS lw $10, 20($1) sub $11, $2, $3 Analizziamo lesecuzione della sequenza nei 6 cicli di clock necessari

26 Il primo ed il secondo ciclo di clock lw: entra nella pipeline sub: entra nella pipeline lw: entra nello stadio ID Ciclo 1 Ciclo 2

27 Il terzo ed il quarto ciclo di clock lw: entra nello stadio EX sub: entra nello stadio ID lw: entra nello stadio MEM e legge la locazione di memoria con indirizzo salvato in EX/MEM sub: entra nello stadio EX; il risultato della sottrazione è scritto in EX/MEM alla fine del ciclo Ciclo 4 Ciclo 3

28 Il quinto ed il sesto ciclo di clock lw: termina con la scrittura del valore in MEM/WB nel registro $10 del banco sub: il risultato della sottrazione è scritto in MEM/WB sub: termina con la scrittura del valore in MEM/WB nel registro $11 del banco Ciclo 5 Ciclo 6

29 Cinque istruzioni in esecuzione Diagramma della pipeline con più cicli di clock –Fornisce una rappresentazione orientata alle risorse e semplificata Analizziamo in dettaglio CC5 CC7 CC8 CC9

30 Il quinto ciclo di clock Diagramma della pipeline a singolo ciclo di clock –Fornisce una rappresentazione più dettagliata ed in verticale del diagramma con più cicli di clock

31 Esercizio Considerare la sequenza di istruzioni MIPS add $4, $2, $3 sw $5, 4($2) Analizzare lesecuzione della sequenza nei 6 cicli di clock necessari

32 Controllo dellunità con pipeline I dati viaggiano attraverso gli stadi della pipeline Tutti i dati appartenenti ad unistruzione devono essere mantenuti allinterno dello stadio Le informazioni si trasferiscono solo tramite i registri della pipeline Le informazioni di controllo devono viaggiare con listruzione

33 I segnali di controllo Non sono necessari segnali di controllo per la scrittura dei registri di pipeline

34 I segnali di controllo (2) Raggruppiamo i segnali di controllo in base agli stadi della pipeline Prelievo dellistruzione –Identico per tutte le istruzioni Decodifica dellistruzione/lettura del banco dei registri –Identico per tutte le istruzioni Esecuzione/calcolo dellindirizzo –RegDst, ALUOp, ALUSrc Accesso alla memoria –Branch, MemRead,MemWrite Scrittura del risultato –MemtoReg, RegWrite

35 I segnali di controllo (3) Istruzione Segnali di controllo EXSegnali di controllo MEM Segnali di controllo WB Reg Dst ALU Op1 ALU Op0 ALU Src BranchMem Read Mem Write Reg Write Memto Reg tipo-R lw swX X beqX X

36 Estensione con controllo I registri di pipeline contengono anche i valori dei segnali di controllo –Al massimo 8 segnali di controllo (9 bit) I valori necessari per lo stadio successivo vengono propagati dal registro di pipeline corrente al successivo 9 bit5 bit2 bit

37 Estensione con controllo (2)

38 Esempio Consideriamo la sequenza di istruzioni MIPS lw $10, 20($1) sub $11, $2, $3 and $12, $4, $5 or $13, $6, $7 add $14, $8, $9 Analizziamo lesecuzione della sequenza nei 9 cicli di clock necessari

39 Esempio: cicli di clock 1 e 2 lw: entra nella pipeline sub: entra nella pipeline lw: in ID/EX scritti $1, 20 (offset) e 10 (numero del registro di destinazione)

40 Esempio: cicli di clock 3 e 4 and: entra nella pipeline sub: in ID/EX scritti $2, $3, e 11 (numero del registro di destinazione) lw: in EX/MEM scritti $1+20 e 10 or: entra nella pipeline and: in ID/EX scritti $4, $5, e 12 (numero del registro di destinazione) sub: in EX/MEM scritti $2-$3 e 11 lw: in MEM/WB scritti il valore letto dalla memoria e 10

41 Esempio: cicli di clock 5 e 6 add: entra nella pipeline or: in ID/EX scritti $6, $7, e 13 (numero del registro di destinazione) and: in EX/MEM scritti $4 AND $5 e 12 sub: in MEM/WB scritti $2-$3 e 11 lw: termina scrivendo $10 add: in ID/EX scritti $8, $9, e 14 (numero del registro di destinazione) or: in EX/MEM scritti $6 OR $7 e 13 and: in MEM/WB scritti $4 AND $5 e 12 sub: termina scrivendo $11

42 Esempio: cicli di clock 7 e 8 add: in EX/MEM scritti $8+$9 e 14 or: in MEM/WB scritti $6 OR $7 e 13 and: termina scrivendo $12 add: in MEM/WB scritti $8+$9 e 14 or: termina scrivendo $13 MEM: add $14, …

43 Esempio: ciclo di clock 9 add: termina scrivendo $14

44 Prestazioni del pipelining Il pipelining incrementa il throughput del processore (numero di istruzioni completate nellunità di tempo), ma non riduce il tempo di esecuzione (latenza) della singola istruzione Anzi, in generale il pipelining aumenta il tempo di esecuzione della singola istruzione, a causa di sbilanciamenti tra gli stadi della pipeline e overhead di controllo della pipeline –Lo sbilanciamento tra gli stadi della pipeline riduce le prestazioni Il clock non può essere minore del tempo necessario per lo stadio più lento della pipeline –Loverhead della pipeline è causato dai ritardi dei registri di pipeline e dal clock skew (ritardo di propagazione del segnale di clock sui fili)

45 Prestazioni del pipelining (2) Il tempo medio di esecuzione di unistruzione per il processore senza pipeline è: T medio esec. no pipeline = CPI medio no pipeline ciclo clock no pipeline Lo speedup derivante dallintroduzione del pipelining è: Speedup pipeline = T medio esec. no pipeline = T medio esec. pipeline = CPI medio no pipeline ciclo clock no pipeline CPI medio pipeline ciclo clock pipeline

46 Prestazioni del pipelining con stalli Il CPI ideale di un processore con pipeline è quasi sempre 1; tuttavia, gli stalli determinano un degrado delle prestazioni, quindi: CPI pipeline = CPI ideale + cicli stallo pipeline per istruzione = = 1 + cicli stallo pipeline per istruzione I cicli di stallo della pipeline per istruzione sono dovuti a: –Criticità strutturali + criticità sui dati + criticità sul controllo

47 Prestazioni del pipelining con stalli (2) Trascurando loverhead sul tempo di clock del pipelining ed assumendo che gli stadi della pipeline siano perfettamente bilanciati –il tempo del ciclo dei due processori può essere considerato uguale, quindi: Speedup pipeline = CPI no pipeline 1 + cicli stallo pipeline per istruzione –Caso semplice: tutte le istruzioni richiedono lo stesso numero di cicli, che corrisponde al numero di stadi della pipeline (anche detto profondità della pipeline) Speedup pipeline = Profondità pipeline 1 + cicli stallo pipeline per istruzione –Se non ci sono stalli (caso ideale), il pipelining incrementa le prestazioni di un fattore pari alla profondità della pipeline

48 Le criticità Le criticità (o conflitti o alee) sorgono nelle architetture con pipelining quando non è possibile eseguire unistruzione nel ciclo immediatamente successivo Tre tipi di criticità –Criticità strutturali –Criticità sui dati –Criticità sul controllo

49 Le criticità (2) Criticità strutturale –Tentativo di usare la stessa risorsa hardware da parte di diverse istruzioni in modi diversi nello stesso ciclo di clock –Es.: se nel MIPS avessimo ununica memoria istruzioni e dati Criticità sui dati –Tentativo di usare un risultato prima che sia disponibile –Es.: istruzione che dipende dal risultato di unistruzione precedente che è ancora nella pipeline Criticità sul controllo –Tentativo di prendere una decisione sulla prossima istruzione da eseguire prima che la condizione sia valutata –Es.: istruzioni di salti condizionato: se si sta eseguendo beq, come si fa a sapere (in anticipo) quale è la successiva istruzione da iniziare ad eseguire?

50 Criticità strutturali Nellarchitettura MIPS a ciclo singolo non abbiamo conflitti strutturali –Memoria dati separata dalla memoria istruzioni –Banco dei registri usato nello stesso ciclo di pipeline facendo un accesso in lettura da parte di unistruzione ed un accesso in scrittura da parte di unaltra istruzione Soluzione per evitare unalea di tipo Read After Write –Scrittura del banco dei registri nella prima metà del ciclo di clock –Lettura del banco dei registri nella seconda metà del ciclo di clock IDIFEXMEM WB tempo IDIFEXMEM WB IDIFEXMEM WB IDIFEXMEM WB IDIFEXMEM WB ordine di esecuzione delle istruzioni

51 Criticità sui dati Unistruzione dipende dal risultato di unistruzione precedente che è ancora nella pipeline Esempio 1: add $s0, $t0, $t1 sub $t2, $s0, $t3 –Uno degli operandi sorgente di sub ($s0) è prodotto da add, che è ancora nella pipeline –Criticità sui dati di tipo define-use Esempio 2: lw $s0, 20($t1) sub $t2, $s0, $t3 –Uno degli operandi sorgente di sub ($s0) è prodotto da lw, che è ancora nella pipeline –Criticità sui dati di tipo load-use

52 Criticità sui dati (2) Esempio 1: Esempio 2: IDIFEXMEM WB lw $s0, 20($t1) tempo IDIF EX MEM WB ordine di esecuzione delle istruzioni sub $t2, $s0, $t3 IDIFEXMEM WB tempo IDIF EX MEM WB ordine di esecuzione delle istruzioni add $s0, $t0, $t1 sub $t2, $s0, $t3

53 Soluzioni per criticità sui dati Soluzioni di tipo hardware –Inserimento di bolle (bubble) o stalli nella pipeline Si inseriscono dei tempi morti Peggiora il throughput –Propagazione o scavalcamento (forwarding o bypassing) Si propagano i dati in avanti appena sono disponibili verso le unità che li richiedono Soluzioni di tipo software –Inserimento di istruzioni nop (no operation) Peggiora il throughput –Riordino delle istruzioni Spostare istruzioni innocue in modo che esse eliminino la criticità

54 Inserimento di bolle Si inseriscono delle bolle nella pipeline, ovvero si blocca il flusso di istruzioni nella pipeline finché il conflitto non è risolto –Stallo: stato in cui si trova il processore quando le istruzioni sono bloccate Esempio 1: occorre inserire tre bolle per fermare listruzione sub affinché possano essere letti i dati corretti –Due bolle se ottimizzazione del banco dei registri add $s0, $t0, $t1 IDIFEXMEM WB tempo IDIF EX MEM WB ordine di esecuzione delle istruzioni sub $t2, $s0, $t3 bolla

55 Propagazione (o forwarding) Esempio 1: quando la ALU genera il risultato, questo viene subito messo a disposizione per il passo dellistruzione che segue tramite una propagazione in avanti scritturalettura

56 Propagazione e stallo Esempio 2: lw $s0, 20($t1) sub $t2, $s0, $t3 –E una criticità sui dati di tipo load-use Il dato caricato dallistruzione di load non è ancora disponibile quando viene richiesto da unistruzione successiva La sola propagazione è insufficiente per risolvere questo tipo di criticità lw $s0, 20($t1) IDIFEXMEM WB tempo IDIFEXMEM WB ordine di esecuzione delle istruzioni sub $t2, $s0, $t3

57 Propagazione e stallo (2) Soluzione possibile: propagazione e uno stallo Senza propagazione e ottimizzazione del banco dei registri, sarebbero stati necessari tre stalli

58 Inserimento di nop Esempio 1: lassemblatore deve inserire tra le istruzioni add e sub tre istruzioni nop, facendo così scomparire il conflitto –Listruzione nop è lequivalente software dello stallo add $s0, $t0, $t1 IDIFEXMEM WB tempo IDIFEXMEM WB IDIFEXMEM WB IDIFEXMEM WB IDIFEXMEM WB ordine di esecuzione delle istruzioni nop sub $t2, $s0, $t3

59 Riordino delle istruzioni Lassemblatore riordina le istruzioni in modo da impedire che istruzioni correlate siano troppo vicine –Lassemblatore cerca di inserire tra le istruzioni correlate (che presentano dei conflitti) delle istruzioni indipendenti dal risultato delle istruzioni precedenti –Quando lassemblatore non riesce a trovare istruzioni indipendenti deve inserire istruzioni nop Esempio: lw $t1, 0($t0) lw $t2, 4($t0) add $t3, $t1, $t2 lw $t4, 8($t0) sw $t3, 12($t0) add $t3, $t1, $t2 lw $t4, 8($t0) sw $t3, 12($t0) add $t5, $t1, $t4 sw $t5, 16($t0) –La propagazione permette di risolvere i conflitti rimanenti dopo il riordino criticità riordino

60 Criticità sul controllo Per alimentare la pipeline occorre inserire unistruzione ad ogni ciclo di clock Tuttavia, nel processore MIPS la decisione sul salto condizionato non viene presa fino al quarto passo (MEM) dellistruzione beq Comportamento desiderato del salto –Se il confronto fallisce, continuare lesecuzione con listruzione successiva a beq –Se il confronto è verificato,non eseguire le istruzioni successive alla beq e saltare allindirizzo specificato

61 Soluzioni per criticità sul controllo Inserimento di bolle –Si blocca la pipeline finché non è noto il risultato del confronto della beq e si sa quale è la prossima istruzione da eseguire Nel MIPS il risultato del confronto è noto al quarto passo: occorre inserire tre stalli Anticipazione del confronto al secondo passo (ID) –Si aggiunge dellhardware extra: dopo aver decodificato listruzione, si può decidere e modificare il PC se necessario –Occorre comunque aggiungere uno stallo prima dellistruzione successiva alla beq

62 Soluzioni per criticità sul controllo (2) Predizione del salto –Tecniche di predizione statica Es.: si predice che il salto non sia eseguito (untaken branch) –Tecniche di predizione dinamica Salto non eseguito Salto eseguito

63 Soluzioni per criticità sul controllo (3) Salto ritardato (delayed branch) –In ogni caso (indipendentemente dal risultato del confronto) viene eseguita listruzione che segue immediatamente il salto (definita branch-delay slot) –Caso peggiore Inserimento di nop –Caso migliore E possibile trovare unistruzione precedente al salto che possa essere posticipata al salto senza alterare il flusso di controllo (e dei dati) –Esempio or $t0, $t1, $t2add $s0, $s1, $s2 add $s0, $s1, $s2sub $s3, $s4, $s5 sub $s3, $s4, $s5beq $s0, $s3, Exit beq $s0, $s3, Exitor $t0, $t1, $t2xor $t2, $s0, $t3… Exit: delayed branch