擅長資料爬蟲、資料視覺化、數據分析與影像辨識的開源智造 AI Scientist蕭聖哲,曾在第一梯次的解題競賽中以「AI髮絲去背技術開發」獲獎。蕭聖哲回憶,由於當時準備時間僅有三個月,因此他們沒有選擇從零開始自行訓練模型,而是藉助網路資源,採用他人已經訓練好的模型進行拼湊組合。

提出題目的客戶希望能節省幫圖片,特別是髮絲部分去背的時間,並提出團隊可以參考MIT所發表的「Sematic Soft Segmentation」(簡稱SSS)文章。但是當團隊實際操作SSS系統時,發現了許多問題。首先,SSS去背時,是先用群聚分析(K-means)將圖片分為五個圖層,去背後目標物位於哪個圖層是隨機的,因此每次產生結果不同。再來有時目標物會被拆成多個物件,並且運算時間過長,效率低。此外,它同時使用了Python與Matlab兩個程式碼,使用上有些不便。
目前的去背方法有兩種,Segmentation將每個像素的語意進行理解並分類得到去背結果,但是標的物的邊緣切割效果會較為粗糙。Matting則是藉由找出前景與背景的顏色,及它們之間的融合程度,邊緣分割效果自然,然而必須耗費人工繪製黑白灰三色分層的「trimap」圖。
團隊比較了各種Segmentation與Matting程式後,選擇了效果最好的 DeepLab V3+與Deep Matting並將兩者結合。首先先利用DeepLab V3+產生一個遮罩圖,選擇「Automatic Trimap Generator」開源程式碼將外圍頭髮區域框上灰色,再用Deep Matting針對灰色區域做更細緻的處理,最後順利開發出能細緻處理髮絲去背的「Auto Hair」解題成功。
小結
AI的技術日益精進,愈來愈多企業/產業想導入AI來解決自己的痛點,而掌握技術的AI團隊即扮演了重要的落地解題要角。然而,各方的需求千奇百怪,解題團隊與其從無到有的開發,更可掌握「前輩」的經驗,加快解題的速度。透過此次的工作坊經驗分享,大家都學到解題設定(提案思路)、AI技術方法與系統架構的規劃的要領,並體驗實作程式碼的編寫技巧,可謂滿載而歸。
