坊間有傳MacOs系統不適合機器(ml)學習和深度(dl)學習,這是板上釘釘的刻板印象,就好像有人說女生不適合編程一樣的離譜,現而今,無論是Pytorch框架的MPS模式,還是最新的Tensorflow2框架,都已經可以在M1/M2芯片的Mac系統中毫無桎梏地使用GPU顯卡設備,本次我們來分享如何在蘋果MacOS系統上安裝和配置Tensorflow2框架(CPU/GPU),
Tensorflow2深度學習環境安裝和配置
首先并不需要任何虛擬環境,直接本地安裝Python3.10即可,請參見:一網成擒全端涵蓋,在不同架構(Intel x86/Apple m1 silicon)不同開發平臺(Win10/Win11/Mac/Ubuntu)上安裝配置Python3.10開發環境 ,這里不再贅述,
隨后安裝Tensorflow本體:
pip3 install tensorflow-macos
這里系統會自動選擇當前Python版本的Tensorflow安裝包:
? ~ pip install tensorflow-macos
Collecting tensorflow-macos
Downloading tensorflow_macos-2.12.0-cp310-cp310-macosx_12_0_arm64.whl (200.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 200.8/200.8 MB 4.7 MB/s eta 0:00:00
安裝包大小為200兆左右,如果下載不了,可以選擇在pip官網直接下載基于python3.10的安裝包:pypi.org/project/tensorflow-macos/#files

然后直接將whl檔案拖拽到終端安裝即可,
接著安裝Tensorflow的GPU插件:tensorflow-metal,它是一個TensorFlow的后端,使用蘋果的Metal圖形API來加速神經網路計算,Metal是一種高性能圖形和計算API,專門為蘋果設備的GPU設計,可以實作更快的神經網路計算,使用tensorflow-metal可以顯著提高在蘋果設備上運行TensorFlow的性能,尤其是在使用Macs M1和M2等基于蘋果芯片的設備時,
pip3 install --user tensorflow-metal
注意這里安裝命令必須帶上--user引數,否則可能會報這個錯誤:
Non-OK-status: stream_executor::MultiPlatformManager::RegisterPlatform( std::move(cplatform)) status: INTERNAL: platform is already registered with name: "METAL"
安裝好之后,在Python終端運行命令:
import tensorflow
tensorflow.config.list_physical_devices()
程式回傳:
>>> import tensorflow
>>> tensorflow.config.list_physical_devices()
[PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU'), PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
可以看到,Tensorflow用于計算的物理設備既支持CPU,也支持GPU,也就是顯卡,
接著,在撰寫一個完整的測驗腳本 test.py:
import sys
import tensorflow.keras
import pandas as pd
import sklearn as sk
import scipy as sp
import tensorflow as tf
import platform
print(f"Python Platform: {platform.platform()}")
print(f"Tensor Flow Version: {tf.__version__}")
print(f"Keras Version: {tensorflow.keras.__version__}")
print()
print(f"Python {sys.version}")
print(f"Pandas {pd.__version__}")
print(f"Scikit-Learn {sk.__version__}")
print(f"SciPy {sp.__version__}")
gpu = len(tf.config.list_physical_devices('GPU'))>0
print("GPU is", "available" if gpu else "NOT AVAILABLE")
這里列印出深度學習場景下常用的庫和版本號:
? chatgpt_async git:(main) ? /opt/homebrew/bin/python3.10 "/Users/liuyue/wodfan/work/chatgpt_async/tensof_test.py"
Python Platform: macOS-13.3.1-arm64-arm-64bit
Tensor Flow Version: 2.12.0
Keras Version: 2.12.0
Python 3.10.9 (main, Dec 15 2022, 17:11:09) [Clang 14.0.0 (clang-1400.0.29.202)]
Pandas 1.5.2
Scikit-Learn 1.2.0
SciPy 1.10.0
GPU is available
一望而知,在最新的macOS-13.3.1系統中,基于Python3.10.9玩兒Tensorflow2.1沒有任何問題,
至此,Tensorflow2就配置好了,
Tensorflow框架GPU和CPU測驗
為什么一定要讓Tensorflow支持GPU?GPU或圖形處理單元與CPU類似,同樣具有許多核心,允許它們同時進行更快的計算(并行性),這個特性非常適合執行大規模的數學計算,如計算影像矩陣、計算特征值、行列式等等,
簡而言之,GPU可以以并行方式運行代碼并獲得簡明的結果,同時由于能夠處理高強度的計算,因此可以比CPU更快的獲得計算結果,
這里我們通過CIFAR-10專案進行測驗,TensorFlow CIFAR-10專案是一個經典的計算機視覺專案,旨在訓練一個模型,能夠對CIFAR-10資料集中的影像進行分類,CIFAR-10資料集包含60,000張32x32像素的彩色影像,分為10個類別,每個類別包含6,000張影像,該專案的目標是訓練一個深度神經網路模型,能夠對這些影像進行準確的分類:
import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt
(X_train, y_train), (X_test, y_test) = keras.datasets.cifar10.load_data()
X_train_scaled = X_train/255
X_test_scaled = X_test/255
# one hot encoding labels
y_train_encoded = keras.utils.to_categorical(y_train, num_classes = 10, dtype = 'float32')
y_test_encoded = keras.utils.to_categorical(y_test, num_classes = 10, dtype = 'float32')
def get_model():
model = keras.Sequential([
keras.layers.Flatten(input_shape=(32,32,3)),
keras.layers.Dense(3000, activation='relu'),
keras.layers.Dense(1000, activation='relu'),
keras.layers.Dense(10, activation='sigmoid')
])
model.compile(optimizer='SGD',
loss='categorical_crossentropy',
metrics=['accuracy'])
return model
首先測驗CPU性能:
%%timeit -n1 -r1
# CPU
with tf.device('/CPU:0'):
model_cpu = get_model()
model_cpu.fit(X_train_scaled, y_train_encoded, epochs = 10)
這段代碼使用了%%timeit -n1 -r1魔術命令來測驗在CPU上訓練模型的時間,-n1表示只運行一次,-r1表示只運行一輪,如果沒有指定這些引數,則會運行多次并計算平均值,/CPU:0指的是第一個CPU(如果計算機只有一個CPU,則是唯一的CPU),
這里使用get_model()函式獲取模型,使用model_cpu.fit()方法在CPU上訓練模型,使用X_train_scaled和y_train_encoded作為輸入資料,并在10個epoch內進行訓練,最后,使用%%timeit命令來測驗訓練模型所需的時間,以便比較不同設備的性能,
程式回傳:
50000/50000 [==========================] - 80s 2ms/sample
14min 9s
需要14分鐘,
接著測驗GPU性能:
%%timeit -n1 -r1
# GPU
with tf.device('/GPU:0'):
model_gpu = get_model()
model_gpu.fit(X_train_scaled, y_train_encoded, epochs = 10)
程式回傳:
50000/50000 [==========================] - 11s 227us/sample
1min 55s
一分多鐘,很明顯在GPU上訓練模型比在CPU上訓練模型更快,因為GPU可以同時處理多個任務,
結語
蘋果MacOs系統可以承擔深度學習任務,但術業有專攻,算力層面還是比不上配置N卡的其他平臺,這是不爭的事實,沒錯,更好的選擇是RTX3090,甚至是4090,但一塊RTX4090顯卡的價格是1500刀左右,這還意味著CPU、記憶體、主板和電源都得單買,而一臺m2芯片的Mac book air的價格是多少呢?
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/549772.html
標籤:其他
