CPython Internal2 Language and Grammar

Language and Grammar

コンパイラの言語翻訳方法は2種類ある:
- 低レベルのmachine codeにして、実行するタイプ(C, C++, Go)
- 中間言語にしてVMで実行するやつ (Java, .NET CLR )
Pythonはマシン語にするタイプじゃなくって、bytecodeという中間言語にするタイプだよ
- bytecode は.pyc
- 2回目以降の実行を早くできるよ、もう一回コンパイルしなくていいので

Why CPython Is Written in C and Not

Python

標準モジュールはPythonやCとPythonを合わせて書かれてるよ、なんでCPythonはPythonで書かれてないの？
コンパイラの種類:
- Self-hosted compilers: コンパイラされた言語自体で書かれたコンパイラ、bootstrappingというプロセスで実行される（ex: Go）
- Source-to-source compilers: ほかの言語で書かれている
言語仕様からパーサーを作るツール: GNU Bison, Yacc, ANTLR
cf: Lark: a parsing toolkit for Python
- https://github.com/lark-parser/lark
bootstrappingの例: Go
- 一旦Cで書かれたGoコンパイラを作って、GoでGoコンパイラを作る
CPythonは低レイヤに触るモジュールはCで書かれてる:
- ex: ssl, sockets
pypy: Self-hosted compilerなpython
Jython: Javaで書かれたpythonコンパイラ
Doc/reference : pythonのリファレンスのrstが入ってる https://docs.python.org/3/reference/
- example: Doc/reference/compound_stmt.rst の中にwith文の説明がある
- referenceはhuman-readableなdocument
machine-readableなdocument: Grammar/python.gram
- 言語仕様を書いてる
- 3.9 はBNF, 3.10はBNFは削除された

Python Grammar File ( Grammar/Grammar )

Parsing Expression Grammar(PEG)で書かれている
構文:
- * : repeat
- + : at-least-once repeat
- [] : optional parts
- | : alternative
- () : grouping
ex: コーヒー
- カップは必要、エスプレッソが少なくとも一つ以上必要、ミルクと水は入れても入れなくても、ミルクはfull-fat, skimmed, soyなどの種類があるよ
```
coffee: 'cup' ('espresso')+ ['water'] [milk]
milk: 'full-fat' | 'skimmed' | 'soy'
```
- railload diagramを使って書くとこう

Example

while文:

while文をPEGで書くよ
named_expression( while letters := read(document, 10) : )を考慮する
else ( while: else: )を考慮する

while_stmt[stmt_ty]:
    | 'while' a=named_expression ':' b=block c=[else_block] { _Py_While(a, b, c, EXTRA) }

''はterminal というリテラル
block: codeの集まり
named_expression : expression

Untitled

Grammarの方:

while_stmt: 'while' namedexpr_test ':' suite ['else' ':' suite]
namedexpr_test: test [':=' test]
test: or_test ['if' or_test 'else' test] | lambdef

try:

try_stmt[stmt_ty]:
    | 'try' ':' b=block f=finally_block { _Py_Try(b, NULL, NULL, f, EXTRA) }
    | 'try' ':' b=block ex=except_block+ el=[else_block] f=[finally_block] { _Py_Try(b, ex, el, f, EXTRA) }
except_block[excepthandler_ty]:
    | 'except' e=expression t=['as' z=NAME { z }] ':' b=block {
        _Py_ExceptHandler(e, (t) ? ((expr_ty) t)->v.Name.id : NULL, b, EXTRA) }
    | 'except' ':' b=block { _Py_ExceptHandler(NULL, NULL, b, EXTRA) }
finally_block[asdl_seq*]: 'finally' ':' a=block { a }

Untitled

Parser Generator
- GrammarファイルはParserを作るのに使うよ
- grammarファイルを変えたらrecompileされる
- CPython parser: parser table automaton(pgen module) → contextual grammar parser
Regenerating Grammar
- small_stmt を書き換えて遊ぶよ
- 'pass'の部分を ('pass' | 'proceed') { _Py_Pass(EXTRA) } に書き換える
- 再生成: make regen-pegen
- なうのpythonでエラーになることを確認:
```
>>> def example():
...     proceed
...
>>> example()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 2, in example
NameError: name 'proceed' is not defined
```
- 再コンパイル: make -j2 -s
- 新しいpythonで実行
```
>>> def example():
...     proceed
... 
>>> example()
>>>
```

TOKEN

Grammar/Tokens を見ていくよ
構文木の葉を定義する
IDと記号が書かれている
実際のコードをtokenizeする

$ ./python.exe -m tokenize -e cpython-internal/test_tokens.py 
0,0-0,0:            ENCODING       'utf-8'        
1,0-1,18:           COMMENT        '# Demo application'
1,18-1,20:          NL             '\\r\\n'
2,0-2,3:            NAME           'def'
2,4-2,15:           NAME           'my_function'
2,15-2,16:          LPAR           '('
2,16-2,17:          RPAR           ')'
2,17-2,18:          COLON          ':'
2,18-2,20:          NEWLINE        '\\r\\n'
3,0-3,4:            INDENT         '    '
3,4-3,11:           NAME           'proceed'
3,11-3,12:          NEWLINE        ''
4,0-4,0:            DEDENT         ''
4,0-4,0:            ENDMARKER      ''

DEDENT : 関数閉じ
ENDMARKER : EOF
Tokenizeはpythonで書かれており、 Lib/tokenize.py

Language and Grammar

Why CPython Is Written in C and Not

まとめ (2021/08/14)