你應該知道的Python3.6、3.7、3.8新特性

很多人在學習了基本的Python語言知識后，就轉入應用階段了，后期很少對語言本身的新變化、新內容進行跟蹤學習和知識更新，甚至連已經發布了好幾年的Python3.6的新特性都缺乏了解，

本文列舉了Python3.6、3.7、3.8三個版本的新特性，學習它們有助于提高對Python的了解，跟上最新的潮流，

一、Python3.6新特性

1、新的格式化字串方式

新的格式化字串方式，即在普通字串前添加 f 或 F 前綴，其效果類似于str.format()，比如

name = "red"
print(f"He said his name is {name}.") 
# 'He said his name is red.'

相當于：

print("He said his name is {name}.".format(**locals()))

此外，此特性還支持嵌套欄位，比如：

import decimal
width = 10
precision = 4
value = https://www.cnblogs.com/django-dev/p/decimal.Decimal("12.34567")
print(f"result: {value:{width}.{precision}}") 
#'result:  12.35'

2、變數宣告語法

可以像下面一樣宣告一個變數并指定型別：

from typing import List, Dict
 
primes: List[int] = []
captain: str  # 此時沒有初始值
 
class Starship:
  stats: Dict[str, int] = {}

3、數字的下劃線寫法

允許在數字中使用下劃線，以提高多位數字的可讀性，

a = 1_000_000_000_000_000    # 1000000000000000
b = 0x_FF_FF_FF_FF       # 4294967295

除此之外，字串格式化也支持_選項，以列印出更易讀的數字字串：

'{:_}'.format(1000000)     # '1_000_000'
'{:_x}'.format(0xFFFFFFFF)   # 'ffff_ffff'

4、異步生成器

在Python3.5中，引入了新的語法 async 和 await 來實作協同程式，但是有個限制，不能在同一個函式體內同時使用 yield 和 await，Python3.6中，這個限制被放開了，允許定義異步生成器：

async def ticker(delay, to):
"""Yield numbers from 0 to *to* every *delay* seconds."""
  for i in range(to):
    yield i
    await asyncio.sleep(delay)

5、異步決議器

允許在串列list、集合set 和字典dict 決議器中使用 async 或 await 語法，

result = [i async for i in aiter() if i % 2]
result = [await fun() for fun in funcs if await condition()]

6、新增加模塊

標準庫（The Standard Library）中增加了一個新的模塊：secrets，該模塊用來生成一些安全性更高的亂數，用于管理passwords, account authentication, security tokens, 以及related secrets等資料，

7、其他新特性

• 新的 PYTHONMALLOC 環境變數允許開發者設定記憶體分配器，以及注冊debug鉤子等，
• asyncio模塊更加穩定、高效，并且不再是臨時模塊，其中的API也都是穩定版的了，
• typing模塊也有了一定改進，并且不再是臨時模塊，
• datetime.strftime 和 date.strftime 開始支持ISO 8601的時間識別符號%G, %u, %V，
• hashlib 和 ssl 模塊開始支持OpenSSL1.1.0，
• hashlib模塊開始支持新的hash演算法，比如BLAKE2, SHA-3 和 SHAKE，
• Windows上的 filesystem 和 console 默認編碼改為UTF-8，
• json模塊中的 json.load() 和 json.loads() 函式開始支持 binary 型別輸入，

更多內容參考官方檔案：What's New In Python 3.6

二、Python3.7新特性

Python 3.7于2018年6月27日發布， 包含許多新特性和優化，增添了眾多新的類，可用于資料處理、針對腳本編譯和垃圾收集的優化以及更快的異步I/O，主要如下：

• 用類處理資料時減少樣板代碼的資料類，
• 一處可能無法向后兼容的變更涉及處理生成器中的例外，
• 面向解釋器的“開發模式”，
• 具有納秒解析度的時間物件，
• 環境中默認使用UTF-8編碼的UTF-8模式，
• 觸發除錯器的一個新的內置函式，

1、新增內置函式breakpoint()

使用該內置函式，相當于通過代碼的方式設定了斷點，會自動進入Pbd除錯模式，

如果在環境變數中設定PYTHONBREAKPOINT=0會忽略此函式，并且，pdb 只是眾多可用除錯器之一，你可以通過設定新的 PYTHONBREAKPOINT 環境變數來配置想要使用的除錯器，

下面有一個簡單例子，用戶需要輸入一個數字，判斷它是否和目標數字一樣：

"""猜數字游戲"""

def guess(target):
    user_guess = input("請輸入你猜的數 >>> ")
    if user_guess == target:
        return "你猜對了!"
    else:
        return "猜錯了"


if __name__ == '__main__':
    a = 100
    print(guess(a))

不幸的是，即使猜的數和目標數一樣，列印的結果也是‘猜錯了’，并且沒有任何例外或錯誤資訊，

為了弄清楚發生了什么，我們可以插入一個斷點，來除錯一下，以往一般通過print大法或者IDE的除錯工具，但現在我們可以使用 breakpoint()，

"""猜數字游戲"""


def guess(target):
    user_guess = input("請輸入你猜的數 >>> ")
    breakpoint()   //加入這一行
    if user_guess == target:
        return "你猜對了!"
    else:
        return "猜錯了"


if __name__ == '__main__':
    a = 100
    print(guess(a))

在 pdb 提示符下，我們可以呼叫 locals() 來查看當前的本地作用域的所有變數，（pdb 有大量的命令，你也可以在其中運行正常的Python 陳述句）

請輸入你猜的數 >>> 100
> d:\work\for_test\py3_test\test.py(7)guess()
-> if user_guess == target:
(Pdb) locals()
{'target': 100, 'user_guess': '100'}
(Pdb) type(user_guess)
<class 'str'>

搞明白了，target是一個整數，而user_guess 是一個字串，這里發生了型別對比錯誤，

2、型別和注解

從 Python 3.5 開始，型別注解就越來越受歡迎，對于那些不熟悉型別提示的人來說，這是一種完全可選的注釋代碼的方式，以指定變數的型別，

什么是注解？它們是關聯元資料與變數的語法支持，可以是任意運算式，在運行時被 Python 計算但被忽略，注解可以是任何有效的 Python 運算式，

下面是個對比的例子：

# 不帶型別注解
def foo(bar, baz):
# 帶型別注解
def foo(bar: 'Describe the bar', baz: print('random')) -> 'return thingy':

上面的做法，其實是Python對自身弱型別語言的強化，希望獲得一定的型別可靠和健壯度，向Java等語言靠攏，

在 Python 3.5 中，注解的語法獲得標準化，此后，Python 社區廣泛使用了注解型別提示，

但是，注解僅僅是一種開發工具，可以使用 PyCharm 等 IDE 或 Mypy 等第三方工具進行檢查，并不是語法層面的限制，

我們前面的猜數程式如果添加型別注解，它應該是這樣的：

"""猜數字游戲"""


def guess(target:str):
    user_guess:str = input("請輸入你猜的數 >>> ")
    breakpoint()
    if user_guess == target:
        return "你猜對了!"
    else:
        return "猜錯了"


if __name__ == '__main__':
    a:int = 100
    print(guess(a))

PyCharm會給我們灰色的規范錯誤提醒，但不會給紅色的語法錯誤提示，

用注解作為型別提示時，有兩個主要問題：啟動性能和前向參考，

• 在定義時計算大量任意運算式相當影響啟動性能，而且 typing 模塊非常慢
• 你不能用尚未宣告的型別來注解

typing 模塊如此緩慢的部分原因是，最初的設計目標是在不修改核心 CPython 解釋器的情況下實作 typing 模塊，隨著型別提示變得越來越流行，這一限制已經被移除，這意味著現在有了對 typing 的核心支持，

而對于向前參考，看下面的例子：

class User:
    def __init__(self, name: str, prev_user: User) -> None:
        pass

錯誤在于 User型別還沒有被宣告，此時的 prev_user 不能定義為 User 型別，

為了解決這個問題，Python3.7 將注解的評估進行了推遲，并且，這項改動向后不兼容，需要先匯入annotations，只有到Python 4.0后才會成為默認行為，

from __future__ import annotations

class User: 
    def __init__(self, name: str, prev_user: User) -> None:
        pass

或者如下面的例子：

class C:
    def validate_b(self, obj: B) -> bool:
        ...
class B:
    ...

3、新增dataclasses模塊

這個特性可能是 Python3.7以后比較常用的，它有什么作用呢？

假如我們需要撰寫一個下面的類：

from datetime import datetime
import dateutil

class Article(object):
    def __init__(self, _id, author_id, title, text, tags=None, 
                 created=datetime.now(), edited=datetime.now()):
    self._id = _id
    self.author_id = author_id
    self.title = title
    self.text = text
    self.tags = list() if tags is None else tags
    self.created = created
    self.edited = edited

    if type(self.created) is str:
       self.created = dateutil.parser.parse(self.created)

    if type(self.edited) is str:
       self.edited = dateutil.parser.parse(self.edited)

    def __eq__(self, other):
        if not isinstance(other, self.__class__):
            return NotImplemented
        return (self._id, self.author_id) == (other._id, other.author_id)

    def __lt__(self, other):
        if not isinstance(other, self.__class__):
            return NotImplemented
        return (self._id, self.author_id) < (other._id, other.author_id)

    def __repr__(self):
        return '{}(id={}, author_id={}, title={})'.format(
                self.__class__.__name__, self._id, self.author_id, self.title)

大量的初始化屬性要定義默認值，可能還需要重寫一堆魔法方法，來實作類實體的列印、比較、排序和去重等功能，

如果使用dataclasses進行改造，可以寫成這個樣子：

from dataclasses import dataclass, field
from typing import List
from datetime import datetime
import dateutil

@dataclass(order=True)   //注意這里
class Article(object):
    _id: int
    author_id: int
    title: str = field(compare=False)
    text: str = field(repr=False, compare=False)
    tags: List[str] = field(default=list(), repr=False, compare=False)
    created: datetime = field(default=datetime.now(), repr=False, compare=False)
    edited: datetime = field(default=datetime.now(), repr=False, compare=False)

    def __post_init__(self):
       if type(self.created) is str:
           self.created = dateutil.parser.parse(self.created)

       if type(self.edited) is str:
           self.edited = dateutil.parser.parse(self.edited)

這使得類不僅容易設定，而且當我們創建一個實體并列印出來時，它還可以自動生成優美的字串，在與其他類實體進行比較時，它也會有適當的行為，這是因為dataclasses除了幫我們自動生成 __init__ 方法外，還生成了一些其他特殊方法，如 repr、eq 和 hash 等，

Dataclasses 使用欄位 field來完提供默認值，手動構造一個 field() 函式能夠訪問其他選項，從而更改默認值，例如，這里將 field 中的 default_factory 設定為一個 lambda 函式，該函式提示用戶輸入其名稱，

from dataclasses import dataclass, field
class User:
    name: str = field(default_factory=lambda: input("enter name"))

4、生成器例外處理

在Python 3.7中，生成器引發StopIteration例外后，StopIteration例外將被轉換成RuntimeError例外，那樣它不會悄悄一路影回應用程式的堆疊框架，這意味著如何處理生成器的行為方面不太敏銳的一些程式會在Python 3.7中拋出RuntimeError，在Python 3.6中，這種行為生成一個棄用警告；在Python 3.7中，它將生成一個完整的錯誤，

一個簡易的方法是使用try/except代碼段，在StopIteration傳播到生成器的外面捕獲它，更好的解決方案是重新考慮如何構建生成器――比如說，使用return陳述句來終止生成器，而不是手動引發StopIteration，

5、開發模式

Python解釋器添加了一個新的命令列開關：-X，讓開發人員可以為解釋器設定許多低級選項，

這種運行時的檢查機制通常對性能有重大影響，但在除錯程序中對開發人員很有用，

-X 激活的選項包括：

• asyncio模塊的除錯模式，這為異步操作提供了更詳細的日志記錄和例外處理，而例外操作可能很難除錯或推理，
• 面向記憶體分配器的除錯鉤子，這對于撰寫CPython擴展件的那些人很有用，它能夠實作更明確的運行時檢查，了解CPython如何在內部分配記憶體和釋放記憶體，
• 啟用faulthandler模塊，那樣發生崩潰后，traceback始終轉儲出去，

6、 高精度時間函式

Python 3.7中一類新的時間函式回傳納秒精度的時間值，盡管Python是一種解釋型語言，但是Python的核心開發人員維克多?斯廷納（Victor Stinner）主張報告納秒精度的時間，最主要的原因是，在處理轉換其他程式（比如資料庫）記錄的時間值時，可以避免丟失精度，

新的時間函式使用后綴_ns，比如說，time.process_time()的納秒版本是time.process_time_ns()，請注意，并非所有的時間函式都有對應的納秒版本，

7、其他新特性

• 字典現在保持插入順序，這在 3.6 中是非正式的，但現在成為了官方語言規范，在大多數情況下，普通的 dict 能夠替換 collections.OrderedDict，
• .pyc 檔案具有確定性，支持可重復構建 —— 也就是說，總是為相同的輸入檔案生成相同的 byte-for-byte 輸出，
• 新增contextvars模塊，針對異步任務提供背景關系變數，
• __main__中的代碼會顯示棄用警告（DeprecationWarning），
• 新增UTF-8模式，在Linux/Unix系統，將忽略系統的locale，使用UTF-8作為默認編碼，在非Linux/Unix系統，需要使用-X utf8選項啟用UTF-8模式，
• 允許模塊定義__getattr__、__dir__函式，為棄用警告、延遲import子模塊等提供便利，
• 新的執行緒本地存盤C語言API，
• 更新Unicode資料到11.0，

三、Python3.8新特性

Python3.8版本于2019年10月14日發布，以下是 Python 3.8 相比 3.7 的新增特性，

1、海象賦值運算式

新的語法 :=，將值賦給一個更大的運算式中的變數，它被親切地稱為 “海象運算子”(walrus operator)，因為它長得像海象的眼睛和象牙，

“海象運算子” 在某些時候可以讓你的代碼更整潔，比如：

在下面的示例中，賦值運算式可以避免呼叫 len () 兩次:

if (n := len(a)) > 10:	
    print(f"List is too long ({n} elements, expected <= 10)")

類似的好處還可體現在正則運算式匹配中需要使用兩次匹配物件的情況中，一次檢測用于匹配是否發生，另一次用于提取子分組:

discount = 0.0	

if (mo := re.search(r'(\d+)% discount', advertisement)):	
    discount = float(mo.group(1)) / 100.0

此運算子也可用于配合 while 回圈計算一個值，來檢測回圈是否終止，而同一個值又在回圈體中再次被使用的情況:

# Loop over fixed length blocks	

while (block := f.read(256)) != '':	
    process(block)

或者出現于串列推導式中，在篩選條件中計算一個值，而同一個值又在運算式中需要被使用:

[clean_name.title() for name in names	

 if (clean_name := normalize('NFC', name)) in allowed_names]

請盡量將海象運算子的使用限制在清晰的場合中，以降低復雜性并提升可讀性，

2、僅限位置形參

新增一個函式形參語法 / 用來指明某些函式形參必須使用僅限位置而非關鍵字引數的形式，

這種標記語法與通過 help () 所顯示的使用 Larry Hastings 的 Argument Clinic 工具標記的 C 函式相同，

在下面的例子中，形參 a 和 b 為僅限位置形參，c 或 d 可以是位置形參或關鍵字形參，而 e 或 f 要求為關鍵字形參:

def f(a, b, /, c, d, *, e, f):	

    print(a, b, c, d, e, f)

以下是合法的呼叫:

f(10, 20, 30, d=40, e=50, f=60)

但是，以下均為不合法的呼叫:

f(10, b=20, c=30, d=40, e=50, f=60)   # b 不可以是一個關鍵字引數
f(10, 20, 30, 40, 50, f=60)           # e 必須是一個關鍵字引數

這種標記形式的一個用例是它允許純 Python 函式完整模擬現有的用 C 代碼撰寫的函式的行為，例如，內置的 pow () 函式不接受關鍵字引數:

def pow(x, y, z=None, /):	

    "Emulate the built in pow() function"	

    r = x ** y	

    return r if z is None else r%z

另一個用例是在不需要形參名稱時排除關鍵字引數，例如，內置的 len () 函式的簽名為 len (obj, /)，這可以排除如下這種笨拙的呼叫形式:

len(obj='hello')  # The "obj" keyword argument impairs readability

另一個益處是將形參標記為僅限位置形參將允許在未來修改形參名而不會破壞客戶的代碼，例如，在 statistics 模塊中，形參名 dist 在未來可能被修改，這使得以下函式描述成為可能:

def quantiles(dist, /, *, n=4, method='exclusive')	
    ...

由于在 / 左側的形參不會被公開為可用關鍵字，其他形參名仍可在 **kwargs 中使用:

>>> def f(a, b, /, **kwargs):	
...     print(a, b, kwargs)	
...	
>>> f(10, 20, a=1, b=2, c=3)         # a and b are used in two ways	
10 20 {'a': 1, 'b': 2, 'c': 3}

這極大地簡化了需要接受任意關鍵字引數的函式和方法的實作，例如，下面是 collections 模塊中的代碼摘錄：

class Counter(dict):	

    def __init__(self, iterable=None, /, **kwds):	

        # Note "iterable" is a possible keyword argument

3、f 字串支持 =

增加 = 說明符用于 f-string，形式為 f'{expr=}' 的 f 字串將擴展表示為運算式文本，加一個等于號，再加運算式的求值結果，例如：

>>> user = 'eric_idle'	
>>> member_since = date(1975, 7, 31)	
>>> f'{user=} {member_since=}'	

"user='eric_idle' member_since=datetime.date(1975, 7, 31)"

f 字串格式說明符允許更細致地控制所要顯示的運算式結果:

>>> delta = date.today() - member_since	

>>> f'{user=!s}  {delta.days=:,d}'	
'user=eric_idle  delta.days=16,075'

= 說明符將輸出整個運算式，以便詳細演示計算程序:

>>> print(f'{theta=}  {cos(radians(theta))=:.3f}')	
theta=30  cos(radians(theta))=0.866

4、 typing模塊的改進

Python是動態型別語言，但可以通過typing模塊添加型別提示，以便第三方工具驗證Python代碼，Python 3.8給typing添加了一些新元素，因此它能夠支持更健壯的檢查：

• final修飾器和Final型別標注表明，被修飾或被標注的物件在任何時候都不應該被重寫、繼承，也不能被重新賦值，
• Literal型別將運算式限定為特定的值或值的串列（不一定是同一個型別的值），
• TypedDict可以用來創建字典，其特定鍵的值被限制在一個或多個型別上，注意這些限制僅用于編譯時確定值的合法性，而不能在運行時進行限制，

5、多行程共享記憶體

multiprocessing模塊新增SharedMemory類，可以在不同的Python進城之間創建共享的記憶體區域，

在舊版本的Python中，行程間共享資料只能通過寫入檔案、通過網路套接字發送，或采用Python的pickle模塊進行序列化等方式，共享記憶體提供了行程間傳遞資料的更快的方式，從而使得Python的多處理器和多內核編程更有效率，

共享記憶體片段可以作為單純的位元組區域來分配，也可以作為不可修改的類似于串列的物件來分配，其中能保存數字型別、字串、位元組物件、None物件等一小部分Python物件，

6、 新版本的pickle協議

Python的pickle模塊提供了一種序列化和反序列化Python資料結構或實體的方法，可以將字典原樣保存下來供以后讀取，不同版本的Python支持的pickle協議不同，而3.8版本的支持范圍更廣、更強大、更有效的序列化，

Python 3.8引入的第5版pickle協議可以用一種新方法pickle物件，它能支持Python的緩沖區協議，如bytes、memoryviews或Numpy array等，新的pickle避免了許多在pickle這些物件時的記憶體復制操作，

NumPy、Apache Arrow等外部庫在各自的Python系結中支持新的pickle協議，新的pickle也可以作為Python 3.6和3.7的插件使用，可以從PyPI上安裝，

7、性能改進

• 許多內置方法和函式的速度都提高了20%~50%，因為之前許多函式都需要進行不必要的引數轉換，
• 一個新的opcode快取可以提高解釋器中特定指令的速度，但是，目前實作了速度改進的只有LOAD_GLOBAL opcode，其速度提高了40%，以后的版本中也會進行類似的優化，
• 檔案復制操作如shutil.copyfile()和shutil.copytree()現在使用平臺特定的呼叫和其他優化措施，來提高操作速度，
• 新創建的串列現在平均比以前小了12%，這要歸功于串列建構式如果能提前知道串列長度的情況下，可以進行優化，
• Python 3.8中向新型類（如class A(object)）的類變數中的寫入操作變得更快，operator.itemgetter()和collections.namedtuple()也得到了速度優化，

更多詳細特性，請查閱Python 3.8.0檔案：https://docs.python.org/zh-cn/3.8/whatsnew/3.8.html

標籤：Python

上一篇：x01.editor: 語法高亮編輯器

下一篇：能不能幫幫忙，怎么弄好它