2021-02-10 16 min read # 火車 # 藝術設計 # opencv # 自動化 # python # 雜談
GitHub專案地址：https://github.com/divertingPan/video_scanner
原文地址：https://divertingpan.github.io/post/train_scanning/
站在路邊的思考
用普通相機拍攝火車的時候，離得近拍不到全貌，或者拍到的全貌帶透視，看不清遠處，離得遠就能拍到完整的形態，但是主體太小了看不清，用錄像的辦法可以離近的同時，拍到完整的火車形態，但是視線就只能被限制在這一個小視窗內，只能看到一小部分的影像，還是不能自由觀察整個火車全貌，
但是，既然錄像已經把完整的火車給錄下來了，那就可以直接用拼圖的方法，把每一幀影像里面新錄到的部分往后接上去，從視頻一開始出現火車，就將這之后新出現的內容向后延展，直到火車走掉，基本的思路如下圖所示，
這時候很明顯的發現，這樣做的話，由于畫面有透視的原因，會使畫面不均勻，并且拼接得不太嚴絲合縫，如果把這個視窗縮窄，只取畫面中部的一小部分，這一小部分只要足夠小就可以忽略他的透視形變，畫面就會均勻很多，這樣做順便還有一個好處，可以避免周圍雜物的干擾，理論上只要錄像視線內有這一小條能夠完整照到火車就是可以的，
這樣的話，可以對視頻的每一幀，都剪出中間某個固定寬度的影像然后拼起來就好了，這個視窗可以無限窄（只留1像素寬）嗎？這個視窗寬度顯然應該和同一個點在兩幀之間的距離有關，視窗比這個距離窄，就會丟資訊，比這個距離寬，就會有重復出現的內容，如果和這個距離相等，則是剛剛好的，例如下圖是前后兩幀疊加顯示的示意圖，同一點的距離就應該作為這個視窗的寬度來拼接影像
同時我們還得確保這個視窗盡量窄，以確保減少透視形變和光照不均，所以說，錄像的時候盡量讓物體在視頻里動的慢一點，也就是讓兩幀之間同一點的位移盡量小，所以要么拍慢速移動的物體，要么用高速攝影機，當然，為了確保這個動著的東西在畫面里不糊，每一幀的快門速度也要盡量快，
那我們干脆算一算快門速度還有這個視窗寬度和實際運動速度之間的關系，利用一些已知資訊可以推算影像里的一像素對應實際焦平面上的區域尺寸，
根據TB/T 1010-2016 《鐵道車輛輪對及軸承型式與基本尺寸》，大部分的貨車輪滾動圓直徑是840mm，根據圖中所示這個型號是P62k，根據http://www.trainfanz.com/series_info.aspx?Series=55&msg=576的資料，這個車的軸重是21t，又根據GB/T 25024-2019 《機車車輛轉向架 貨車轉向架》的第5.8.a：軸重25t及以下車輪滾動圓直徑應為840mm，基本可以確定圖中車輪的直徑是840mm，
這樣，做一個簡單的比例換算關系就可知，圖片里的1像素=實際該處位置6.83mm，如果在60fps的錄像幀率下，若想要視窗寬度為1像素，則火車速度就應該為6.83x60 mm/s，即0.41m/s，錄像幀率越高，可接納的實際火車速度越快，因此在實際錄像時為了保證盡量小的視窗間隔，錄像幀率盡量選擇設備能達到的最大幀率，
假設使用1/8000的快門速度，不出現模糊的火車最高速度應該是6.83/(1/8000) mm/s，即54.64m/s，（意義為在一個像素能識別到的運動距離內，在快門速度時間內走過不超過這樣的距離，否則會出現運動殘影，可以參考“彌散圓”的概念）雖然為了確保快門速度能夠壓住運動的物體速度，但是顯然1/8000并沒有必要，而且快門速度過快同時會導致需要更高的感光度（ISO），導致畫面質量降低，而普通列車（指車頭拖拉的這種火車）設計的最高速度也就是160km/h，所以推算快門速度只要達到(6.83/1000)/(160/3.6)=1/6507，根據我的實際觀察，我所在的這個位置接近火車站，所以火車基本都不是全速從我面前通過的，因此快門速度還可以更慢，
理論的根據車輪估算最低快門速度的完整換算公式應該是快門速度=1 / \frac{\text { 車輪直徑 }(\text { 像素 }) \times \text { 火車速度 }}{0.84(\times 3.6)}快門速度=1/0.84(×3.6) 車輪直徑 ( 像素 )× 火車速度 ?，當火車速度是km/h時進行(x3.6)，是m/s時不乘，
寫個自動化程式
讀取視頻
利用python對視頻進行一些處理，主要依靠cv2提供的一些工具，首先得打開一個視頻
video_path = './DSCF1150.MOV' vc = cv2.VideoCapture(video_path)
這時，vc就代表了加載進來的視頻檔案了，利用vc.set(cv2.CAP_PROP_POS_FRAMES, 666666)可以指定一個想象的進度條放在第666666幀上，之后的對幀操作將從這個想象的進度條開始往后操作，如果要從頭開始，指定他為0或者直接加載視頻就可以，
利用以下操作將獲得這個視頻的一系列屬性引數，fps-每秒幀數，total_frames-視頻總幀數，frame_width，frame_height-視頻的寬度和高度
fps = vc.get(cv2.CAP_PROP_FPS) total_frames = int(vc.get(cv2.CAP_PROP_FRAME_COUNT)) frame_width = int(vc.get(cv2.CAP_PROP_FRAME_WIDTH)) frame_height = int(vc.get(cv2.CAP_PROP_FRAME_HEIGHT))
當程式每次呼叫一下rval, frame = vc.read()，就會往后讀一幀，rval代表是否成功讀到這個幀，frame代表讀到的幀影像，因此，讀整個視頻就可以寫成以下樣子
for i in range(total_frames): rval, frame = vc.read() if not rval: print('break') break
讀進來的幀的形式為np.ndarray形式的資料，因此方便后續操作，值得注意的是，記住cv2默認的色彩通道為BGR順序，要么自己記得轉一下，要么就一直使用cv2提供的影像處理方法，
拼接圖片
如果對視頻的所有幀，都取一個固定寬度的影像出來，拼接在一起，那這個影像的寬度就應該是總幀數x視窗寬，所以我們直接初始化一個空的ndarray，img = np.empty((frame_height, total_frames * width, 3), dtype='uint8')
從視頻幀中剪出需要的影像段很容易，直接frame[:, position:position+width, :]即可，這個position是一個比較靠影像中間的位置，也是這個視窗的左側起始邊，
往那個空陣列里面放影像段的時候有一個小坑，火車從左向右開還是從右向左開的拼接順序也應該是反過來的，
- 如果從左向右行駛，在空陣列上的拼接順序應該是從最右端開始拼起，即起始位置應該是
pixel_start = total_frames * width - (i + 1) * width - 反之，應該從最左端拼，起始位置是
pixel_start = i * width - i代表的是幀的編號
好，關鍵組件都到齊了，現在把核心的處理程序完整的寫出來，如下：
vc = cv2.VideoCapture(video_path) vc.set(cv2.CAP_PROP_POS_FRAMES, 0) total_frames = int(vc.get(cv2.CAP_PROP_FRAME_COUNT)) frame_height = int(vc.get(cv2.CAP_PROP_FRAME_HEIGHT)) img = np.empty((frame_height, int(total_frames * width), 3), dtype='uint8') for i in range(total_frames): rval, frame = vc.read() if not rval: print('break') break if v_left_right.get(): pixel_start = int(total_frames * width) - int((i + 1) * width) else: pixel_start = int(i * width) pixel_end = pixel_start + math.ceil(width) img[:, pixel_start:pixel_end, :] = frame[:, position:position + math.ceil(width), :]
另外，如果想每隔幾個像素取一列，即視窗寬是一個大于0小于1的小數，這樣的話需要在涉及到與width進行計算的所有地方進行取整判斷，這就是在上面的一些地方反復出現int()以及ceil()的原因，
保存圖片的話，直接用cv2.imwrite豈不是太沒水平了？其實一個關鍵的因素在于，如果圖片太長，在Ubuntu系統上會有無法顯示的bug，所以存圖的時候，給他裁開，避免單個圖太大，裁圖時我們先給一個固定的長度，當圖片足夠裁出這個長度的段時，就裁剪保存，不夠裁就直接把剩余的保存，可是這里我寫的不夠優雅，希望哪位同學能提供一種更優美的寫法，
flag = 0 i = 0 for i in range(int((total_frames * width) / split_width)): split_start = i * split_width split_end = split_start + split_width cv2.imwrite('{}/{}_{}.jpg'.format(save_dir, os.path.split(video_path.get())[-1].split('.')[-2], i), img[:, split_start:split_end, :]) flag = 1 if not flag or (total_frames * width) % split_width: i += flag split_start = i * split_width cv2.imwrite('{}/{}_{}.jpg'.format(save_dir, os.path.split(video_path.get())[-1].split('.')[-2], i), img[:, split_start:, :])
使用體驗優化
前面那段代碼的一些引數可能會隨著視頻不同而變化，要是每次運行前都打開代碼去找實在太麻煩，寫在程式開頭我也嫌改著麻煩，另外，程式運行程序需要一些時間，沒有進度條實在是太不友好，而且，如果加載視頻之后能夠立刻顯示相鄰兩幀的差異，就能很方便的確定視窗寬度了，
種種跡象表明，現在需要一個界面來接收引數以及做一些顯示，
好在python自帶有tkinter一個簡易的界面制作工具，也不講什么穩定性美觀啥的了，直接搓個界面就行，而且也不考慮那么多“一個用戶走進酒吧點了一份炒飯”這樣的問題，反正老潘自己用的話絕對不會故意往輸入框里給什么核爆炸輸入的（何必呢），
- 我想要顯示兩幀的差異圖，如果還想帶一些簡單的互動，那就用matplotlib，
- 或許需要一個視頻的定位條，用來改變顯示的相鄰兩幀在視頻里的位置（例如視頻開頭可能啥也沒有，應該從視頻中間取幀），
- 我還想要視頻的打開和保存路徑選擇，這倆功能每個GUI開發框架必有，
- 打開視頻以后顯示一下fps、總幀數等資訊，這個直接傳值給Label那樣的控制元件就行，
- 需要有輸入框來接收一些值，包括視窗位置、窗寬度、切割影像的影像寬度，
- 一個按鈕來將這些值給處理的函式并且執行，
- 一個進度條，剛好這個處理流程需要從頭到尾遍歷視頻幀，這個進度就可以作為進度條的進度，
首先，每個GUI都要有一個主表單，?
window = tk.Tk() window.title('scanning video') window.geometry('1024x500') font = tf.Font(size=12)
再怎么說，基本的布局還是得科學一點，不然自己用起來肯定不順手，影像的顯示就放在左側，其他的控制放在右側，
frame_left = Frame(window) frame_left.pack(side=LEFT, fill=BOTH, expand=YES) frame_right = Frame(window) frame_right.pack(side=LEFT, padx=10, expand=YES)
pack()是指按照順序排在指定的框架內，可以有各種引數控制不同的排列樣式，
先放左側的東西，一個畫布顯示影像，一個控制條來當做視頻播放條，一個matplotlib自己的工具列，
fig = Figure(figsize=(8, 4), dpi=72) canvas = FigureCanvasTkAgg(fig, master=frame_left) canvas.get_tk_widget().pack(side=TOP, fill=BOTH, expand=YES) toolbar = NavigationToolbar2Tk(canvas, frame_left) toolbar.update() canvas.get_tk_widget().pack(side=TOP, fill=BOTH, expand=YES) scrollbar_display = Scale(frame_left, orient=HORIZONTAL, from_=0, to=500, resolution=1, command=display_frames) scrollbar_display.pack(fill=X)
關于這個Scale，每次他被拖動以后，值就會變，就會執行command對應的函式，也會傳進去當前的值，如果函式比較復雜（例如我的這個）就會比較卡，所以合理的優化是必要的，另外，這個Scale的長度to引數貌似必須是確定的，不能是個變數，我試了幾種方法都會出錯，只有給定數字才對勁，
def display_frames(idx): global vc, canvas, fig idx = int(idx) vc.set(cv2.CAP_PROP_POS_FRAMES, idx) rval, frame_1 = vc.read() rval, frame_2 = vc.read() frame_overlay = ((frame_1.astype(np.int) + frame_2.astype(np.int)) * 0.5).astype(np.uint8) frame_overlay = cv2.cvtColor(frame_overlay, cv2.COLOR_BGR2RGB) ax = fig.add_subplot(111) ax.imshow(frame_overlay) canvas.draw()
再放右側的東西，右側會涉及到一些邏輯操作，首先是打開視頻，這里不想解釋那么多了，看代碼一目了然，
def open_video(): global fig, vc, total_frames, frame_height fig.clear() video_path.set(filedialog.askopenfilename(title='choose a video')) vc = cv2.VideoCapture(video_path.get()) fps = vc.get(cv2.CAP_PROP_FPS) total_frames = int(vc.get(cv2.CAP_PROP_FRAME_COUNT)) frame_width = int(vc.get(cv2.CAP_PROP_FRAME_WIDTH)) frame_height = int(vc.get(cv2.CAP_PROP_FRAME_HEIGHT)) label_video_attr['text'] = '... ......... ...\n' \ '... fps: {} ...\n' \ '... total_frames: {} ...\n' \ '... resolution: {}x{} ...\n' \ '... ......... ...'.format(fps, total_frames, frame_width, frame_height) display_frames(0) video_path = StringVar() video_path.set('... select a video ...') label_video_path = tk.Label(frame_right, textvariable=video_path, font=font) label_video_path.pack() bt_open_video = tk.Button(frame_right, text='open a video', command=open_video, font=font) bt_open_video.pack()
之后是選擇保存路徑，這里我設計的是，存檔案的時候會在這個路徑下建立一個與視頻同名的檔案夾，然后將分割的圖放進去，這個可以在處理函式里面看出來，
def save_img(): save_path.set(filedialog.askdirectory()) save_path = StringVar() save_path.set('... select save dir ...') label_save_path = tk.Label(frame_right, textvariable=save_path, font=font) label_save_path.pack() bt_save_img = tk.Button(frame_right, text='save dir', command=save_img, font=font) bt_save_img.pack()
之后顯示視頻的一些資訊，這個會和前面open_video()聯動，只要打開了視頻就會讀取這個視頻的這些資訊，并且顯示在這，
label_video_attr = tk.Label(frame_right, font=font, text='... ......... ...\n' '... info area ...\n' '... ......... ...') label_video_attr.pack()
再下面放三個接受輸入值的東西，在程式里呼叫這些輸入框里的值，使用諸如int(text_position.get())來獲取到里面的數，
label_position = tk.Label(frame_right, text='position:', font=font) label_position.pack() text_position = tk.Entry(frame_right, font=font) text_position.pack() label_width = tk.Label(frame_right, text='width:', font=font) label_width.pack() text_width = tk.Entry(frame_right, font=font) text_width.pack() label_split_width = tk.Label(frame_right, text='split_width:', font=font) label_split_width.pack() text_split_width = tk.Entry(frame_right, font=font) text_split_width.pack()
進度條，以及一個顯示是否完成的label，
def process(): ...... progressbar['maximum'] = total_frames for i in range(total_frames): ...... progressbar['value'] = i + 1 progressbar = ttk.Progressbar(frame_right, length=300, cursor='watch') progressbar.pack() label_status = tk.Label(frame_right, text='Status: waiting...', font=font) label_status.pack()
一個用來選擇運動方向的單選按鈕，可以給每個選項賦予value，然后使用v_left_right.get()獲取選中的選項的value，
def process(): ...... for i in range(total_frames): if v_left_right.get(): pixel_start = int(total_frames * width) - int((i + 1) * width) else: pixel_start = int(i * width) v_left_right = IntVar() radio_left_to_right = tk.Radiobutton(frame_right, text='left to right', variable=v_left_right, value=https://www.cnblogs.com/divertingPan/p/1, font=font) radio_left_to_right.pack() radio_right_to_left = tk.Radiobutton(frame_right, text='right to left', variable=v_left_right, value=https://www.cnblogs.com/divertingPan/p/0, font=font) radio_right_to_left.pack()
最重要的一個按鈕，
bt_process = tk.Button(frame_right, text='process', command=process, font=font) bt_process.pack()
最后，一個套路化的東西，
window.mainloop()
如果一切正常，視窗如圖所示，利用工具列可以放大圖片區域，也可以查看某個點的坐標，
識訓
這樣就可以識訓一些角度刁鉆的照片了，比如（封面回收）
（可以當做新的分割線了）?
這樣還可以將錄像極大壓縮，一個錄像有接近1G，而對應的影像則只有100M左右，不損失畫質的情況下減少90%的空間占用，（不過，聲音沒了）（不過，在高幀率錄制時本來也錄不上聲音）
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/296112.html
標籤：其他
上一篇：知乎下載量超10w，大廠軟體測驗寶典，幾乎涵蓋100+大廠面試經驗
下一篇：ARTS Week 1