基於 RGB-T 之多模態深度學習技術用於人臉識別
RGB-T Based Multi-Modal Deep Learning Technology
For Face Identification
姓名：陳柏瑋
人臉辨識在現今是一種非常成熟的非接觸式辨識技術，隨著電腦視覺技術飛
速成長，臉部辨識在現今科技已成熱門的技術，從手機解鎖到高科技研究場所人
員的身分認證都能有此技術的蹤跡，但基於 RGB彩色影像的人臉辨識會受到環境
或光線不佳導致識別效能不佳，也會因有心人偽裝面部騙取機器信任，進而導致
重要資料外洩等情形。近年來，熱影像技術的蓬勃發展，在許多研究中也將熱影
像技術應用於人臉識別，並結合 RGB 彩色影像可以有效的提升識別效能，熱影像
的出現彌補了 RGB彩色影像偽造及光照的缺點，在熱影像的生物特徵信息中，我
們也可以獲得彩色影像沒有的特徵，與 RGB彩色影像互補，進而提升識別效能，
也能改善場地限制的問題。
本論文提出了一種新穎的特徵提取方法，將熱影像和 RGB彩色影像轉換為特
徵影像，並使用深度學習建構人臉辨識模型，提出的特徵萃取方法是將影像(熱影
像和 RGB)切割成 12 塊後再將其分為 24 和 48 塊作為特徵影像，再將其影像進行
人臉辨識和人臉攻擊測試，實驗結果顯示， RGB 影像與熱影像都能準確的辨識出
人臉，而在人臉攻擊的部分，實驗證明，熱影像比 RGB 影像更能抵抗人臉偽裝攻擊。
關鍵字：RGB-T、深度學習、人臉辨識、人臉攻擊、特徵萃取。