252-210: Compiler Design 3.2 Lexical analysis 3.3 - - PowerPoint PPT Presentation

252-­‑210: ¡Compiler ¡Design ¡ ¡ 3.2 ¡ ¡Lexical ¡analysis ¡ 3.3 ¡ ¡Top-­‑down ¡parsing ¡

Thomas ¡R. ¡Gross ¡ ¡ Computer ¡Science ¡Department ¡ ETH ¡Zurich, ¡Switzerland ¡

3.0 ¡Frontend ¡

§ 3.1 ¡IntroducFon ¡ § 3.2 ¡Lexical ¡analysis ¡ ¡ § 3.3 ¡“Top ¡down” ¡parsing ¡ § 3.4 ¡“BoNom ¡up” ¡parsing ¡

2 ¡

Outline ¡

§ Using ¡mulFple ¡grammars ¡to ¡save ¡work ¡

§ Use ¡in ¡compiler ¡front ¡end ¡

§ Top-­‑down ¡parsing ¡

§ Simple ¡(backtracking) ¡parsers ¡ § Simple ¡(predic@ve) ¡parsers ¡ ¡

3 ¡

Comments ¡and ¡whitespace ¡

§ Some ¡languages ¡aNach ¡meaning ¡to ¡whitespace ¡

§ Nes@ng ¡level ¡in ¡Python ¡ § “make” ¡u@lity ¡ § Extreme: ¡Whitespace ¡programming ¡language ¡

§ Only ¡space, ¡tab, ¡newline ¡ma\er ¡

§ Warning: ¡macro ¡facili@es, ¡pragma ¡

§ Not ¡all ¡comments ¡are ¡whitespace ¡

§ Direc@ves ¡hidden ¡in ¡comments ¡ § Example: ¡Fortran90 ¡comment ¡start ¡with ¡“!” ¡ !DEC$ IVDEP – ¡ignore ¡vector ¡dependencies DO I=1, N A(INDARR(I)) = A(INDARR(I)) + B(I) END DO

7 ¡

3.0 ¡Frontend ¡

§ 3.1 ¡IntroducFon ¡ § 3.2 ¡Lexical ¡analysis ¡ ¡ § 3.3 ¡“Top ¡down” ¡parsing ¡ § 3.4 ¡“BoNom ¡up” ¡parsing ¡

13 ¡

3.3 ¡“Top ¡down” ¡parsing ¡

§ Given ¡w ¡∈ ¡T* ¡and ¡context ¡free ¡grammar ¡G ¡(S, ¡T, ¡NT, ¡P). ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Is ¡w ¡∈ ¡L(G)? ¡ § Top-­‑down: ¡find ¡a ¡derivaFon ¡S ¡⇒ ¡… ¡⇒ ¡w ¡

§ Want ¡to ¡find ¡a ¡lee-­‑most ¡deriva@on ¡ § Process ¡input ¡from ¡lee-­‑to-­‑right ¡

§ Languages ¡described ¡by ¡a ¡context-­‑free ¡grammar ¡can ¡be ¡ recognized ¡by ¡a ¡stack ¡machine. ¡

§ w ¡recognized ¡ ¡⇔ ¡w ¡∈ ¡L(G) ¡ § Get ¡deriva@on ¡for ¡free ¡(sequence ¡of ¡ac@ons ¡by ¡stack ¡machine) ¡

16 ¡

AcFons ¡

§ Error ¡ § Accept ¡ § Push ¡onto ¡stack ¡

§ Remove ¡from ¡input, ¡advance ¡read ¡pointer ¡

§ ReducFon ¡

§ Use ¡produc@on ¡to ¡expand/contract ¡the ¡top ¡of ¡the ¡stack ¡

19 ¡

Parser ¡decisions ¡

§ Parser ¡must ¡decide ¡based ¡on ¡top ¡of ¡stack ¡and ¡current ¡input ¡ § Current ¡input ¡

§ Either ¡the ¡next ¡token ¡ § Some ¡number ¡k ¡of ¡remaining ¡tokens ¡

20 ¡

Trivial ¡grammar ¡

S ¡ ¡Id ¡Op ¡Id ¡| ¡ ¡(1) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡-­‑ ¡Id ¡ ¡ ¡ ¡ ¡ ¡ ¡(2) ¡ Op ¡ ¡+ ¡| ¡ ¡ ¡(3) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡-­‑ ¡| ¡ ¡ ¡(4) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡* ¡| ¡ ¡(5) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡/ ¡ ¡(6) ¡ § Start ¡symbol ¡S ¡ § Terminals ¡: ¡{ ¡Id, ¡+, ¡-­‑, ¡*, ¡/ ¡} ¡ ¡ § Non-­‑terminals: ¡{S, ¡Op} ¡

21 ¡

Parser ¡decisions ¡

§ Parser ¡must ¡decide ¡based ¡on ¡top ¡of ¡stack ¡and ¡current ¡input ¡ § Current ¡input ¡

§ Either ¡the ¡next ¡token ¡ § Some ¡number ¡k ¡of ¡remaining ¡tokens ¡

§ How ¡can ¡control ¡the ¡parser? ¡

§ Must ¡be ¡sure ¡that ¡w ¡∉ ¡L(G) ¡if ¡we ¡say ¡there ¡is ¡no ¡deriva@on. ¡

23 ¡

Grammars ¡& ¡words ¡

§ Words ¡are ¡finite ¡ § Grammars ¡are ¡finite ¡

§ Finite ¡alphabets ¡ § Finite ¡number ¡of ¡produc@ons ¡ § Try ¡un@l ¡you ¡succeed ¡ ¡

24 ¡

Backtracking ¡ ¡

§ Accept ¡if ¡stack ¡is ¡empty ¡and ¡all ¡input ¡ ¡consumed ¡ § Reject ¡if ¡there ¡are ¡no ¡more ¡choices ¡to ¡try ¡ § ImplementaFon ¡easy ¡ § May ¡not ¡be ¡efficient ¡– ¡but ¡fast ¡enough ¡in ¡some ¡serngs ¡

§ Can ¡be ¡used ¡for ¡any ¡grammar ¡

26 ¡

§ Not ¡all ¡grammars ¡can ¡be ¡handled ¡with ¡k ¡ ¡symbols ¡of ¡ lookahead ¡

§ For ¡any ¡finite ¡(fixed) ¡k ¡

§ What ¡if ¡we ¡allow ¡infinite ¡lookahead? ¡

32 ¡

3.3.3 ¡ConstrucFon ¡of ¡predicFve ¡parsers ¡

§ Top-­‑down ¡ § PredicFve: ¡ ¡for ¡any ¡combinaFon ¡of ¡(top-­‑of-­‑stack, ¡input) ¡ parser ¡knows ¡how ¡to ¡move ¡forward ¡

§ Towards ¡an ¡“accept” ¡or ¡“reject” ¡decision ¡

§ Look ¡again ¡at ¡stack ¡machine ¡

§ Prepara@on ¡for ¡Assignment ¡2 ¡ § Key ¡concepts ¡apply ¡to ¡bo\om-­‑up ¡parsing ¡

41 ¡

43 ¡

Parsing ¡table ¡M ¡

§ Controls ¡operaFon ¡of ¡parsing ¡engine ¡ ¡ 1) ¡OperaFon ¡ 2) ¡How ¡to ¡set ¡M ¡ § Assume ¡context-­‑free ¡grammar ¡G ¡(S, ¡T, ¡NT, ¡P) ¡ § Add ¡$ ¡to ¡mark ¡boNom ¡of ¡stack, ¡end ¡of ¡input ¡ § Goal: ¡find ¡let-­‑most ¡derivaFon ¡

44 ¡

Parsing ¡engine ¡

repeat ¡ ¡{ ¡

X ¡= ¡top ¡of ¡stack ¡ a: ¡terminal ¡pointed ¡to ¡by ¡ip ¡(input ¡pointer) ¡ if ¡( ¡X ¡∈ ¡T) ¡{ ¡ if ¡( ¡X ¡== ¡a ¡) ¡ ¡{ ¡pop ¡X; ¡ip++ ¡} ¡ else ¡error(); ¡ ¡} ¡ else ¡if ¡( ¡M[X, ¡a] ¡is ¡error-­‑entry) ¡error(); ¡ else ¡if ¡( ¡M=[X, ¡a] ¡= ¡X ¡à ¡Y1 ¡Y2 ¡… ¡Yn) ¡{ ¡ pop ¡stack ¡ push ¡Yn ¡… ¡Y2 ¡Y1 ¡onto ¡the ¡stack ¡ record ¡produc@on ¡ ¡X ¡à ¡Y1 ¡Y2 ¡… ¡Yn) ¡ } ¡

unFl ¡(X ¡== ¡$); ¡

45 ¡