~projectsbaking-monitoringMultimodal AI2025/09 — 2026/01
Multimodal AI產學合作

烘焙設備智慧監控

以 YOLO 辨識麵包烘焙三階段狀態,結合溫度、烘烤時間與物性儀資料,建立即時監控與資料視覺化介面。

問題

麵包烘焙的階段判斷長期依賴師傅的經驗:看顏色、看膨脹、聽聲音、摸溫度。這些判斷很準,但難以量化、難以交接,也難以在產線擴大時維持一致。

產學合作的目標不是取代師傅,而是把「現在處於哪個階段、還剩多少時間、哪個訊號偏離」變成一個即時、可視化的輔助判斷。

方法

  • 訓練 YOLOv8 / YOLOv12 辨識麵包烘焙三階段狀態,處理不同光線、遮擋與擺放位置。
  • 結合溫度、烘烤時間與物性儀資料,進行多模態判斷,而不是只依賴單張影像。
  • 設計即時狀態監控與資料視覺化介面,讓產線人員能快速看到階段、信賴度與感測器讀值。
  • 把師傅的經驗判定轉化成可量化、可追蹤的訊號,作為後續製程優化的基礎。

系統輪廓

3

烘焙階段

影像辨識

2

模態整合

影像 × 感測器

1

即時監控介面

狀態與資料視覺化

2

YOLO 版本

v8 / v12

互動:階段監控

切換發酵、烘烤、出爐三個階段,看看影像偵測框與感測器讀值如何一起改變。右側的數值是整理後的展示資料。

baking-monitor
CAM-01 / LIVESTAGE 01 · 發酵
TEMP32°C
TIME45 min
體積1.8×
YOLO 偵測:發酵階段 · 信賴度 0.94

互動示意:階段名稱、感測器數值與偵測框為整理後的展示資料;實際類別與閾值依產學專案定義。

現場限制

  • 光線與遮擋:產線不是實驗室,鏡頭位置、蒸氣與物件堆疊都會影響影像辨識。
  • 感測器同步:影像、溫度與物性資料的時間戳需要對齊,否則多模態判斷會建立在錯位的訊號上。
  • 即時性:監控介面必須比製程變化更快,才有機會在階段轉換前給出提示。
  • 可解釋性:產線人員需要知道系統為什麼判斷某個階段,而不是只看一個分數。

成果與下一步

完成三階段狀態辨識、多模態判斷與即時監控介面的原型。下一步會針對現場資料持續校正類別定義與閾值,並評估把階段預測接到製程控制與警示流程。

此為產學合作專案,程式碼與現場資料未公開;頁面互動使用整理後的示意資料。
ycair@space:~$ help