您的位置:首頁>>互聯網

百度安全亮相Black Hat?Asia?2019:當云端深度學習模型失去“黑盒保護”

發布時間:2019-04-03 17:49:44  來源:互聯網    采編:張玉翠  背景:

  摘要:在3月26日-29日于新加坡召開的Black Hat Asia 2019上,來自百度安全對于深度神經網絡(DNN)模型算法安全性、Rowhammer新型攻擊方法、Meltdown新變種等三大創新性研究報告成功入選。

  在3月26日-29日于新加坡召開的Black Hat Asia 2019上,來自百度安全對于深度神經網絡(DNN)模型算法安全性、Rowhammer新型攻擊方法、Meltdown新變種等三大創新性研究報告成功入選。其中,在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks 的議題中,百度安全研究員們分享了在AI時代下機器學習算法安全領域的最新研究與實踐。百度安全希望通過這個研究呼吁業內更加迫切的將人工智能模型算法的安全問題納入研究范疇,攜手工業界、學術界共同探索與建設安全的AI時代。

  Black Hat是國際安全工業界的頂級會議之一,具有廣泛的影響力。Black Hat每年分別在美國、歐洲、亞洲各舉辦一次安全信息技術峰會,會議聚焦于先進安全研究、發展和趨勢,并以其強技術性、權威性、客觀性引領未來安全思想和技術的走向。近年來,百度安全多次登上Black Hat的舞臺,分享在AI安全、移動安全等領域的研究與實踐成果。本屆Black Hat Asia上,百度安全Tao Wei、Yunhan Jia、Zhenyu Zhong、Yulong Zhang、Qian Feng的研究成果再次引發業內關注。

  深度學習模型容易受到對抗樣本的攻擊,這在業內已不是新鮮事。對圖像數據疊加人類難以通過感官辨識到的細微擾動,就可以“欺騙”模型,指鹿為馬,甚至無中生有。業內將這種影響AI決策邊界的細微擾動稱之為“對抗樣本”(Adversarial Example Attack),攻擊者往往提前知曉模型的架構、參數,既而利用特定算法針對性的生成“對抗樣本”,誘導模型做出錯誤的、甚至攻擊者預設的判別結果。此乃深度學習模型的“白盒攻擊“,若應用到人臉識別、語音識別、無人駕駛等領域,不僅會導致嚴重的安全事故,也會破壞整個人工智能生態應用的進程與基本信任。

  幸運的是,通常情況下,攻擊者未必對深度學習模型內部架構、參數那么了若指掌,不知道它是怎么“想“的,也不知道它是怎么“學“的,此時制造“對抗樣本“則要麻煩許多——此乃“黑盒攻擊“,理論上需要攻擊者采取類似于“窮舉法”的手段逐一測試,才能找到那個形成攻擊者預期結果的關鍵位點,所需時間足夠長,難度系數足夠高,過程中憑手感、碰運氣成分足夠大。當下以Google、Amazon為代表的國內外知名科技公司將云計算的運作模式與人工智能深度融合,將人工智能技術作為一種云服務(AIaaS,人工智能即服務)提供給用戶和合作伙伴,除Amazon等少數公司會告知模型算法,絕大多數公司僅向用戶反饋調用結果。這意味著云端深度學習模型是黑盒模型,理論上可有效抵御對抗樣本的攻擊。

  然而,百度安全在Black Hat Asia 2019上帶來的最新研究成果表明:黑盒模型制造的只是虛假的安全感,當模型架構和參數不可知的情況下,攻擊者依然有機會實施對深度學習模型的欺騙。 報告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已實現的黑盒模型多種攻擊技術,并創新性的提出了“指紋攻擊“(Fingerprinting attack)——即根據極少的請求結果推測出模型的結構,既而針對性的構造對抗樣本。

  百度安全研究員們設置了條件充足、非充足的兩個黑盒攻擊場景,同時結合兩種不同的攻擊手段——非定向攻擊(Dispersion attack)、定向攻擊(Target Score attack)進行比較,現場展示了指紋攻擊的實驗結果。如圖1所示,在攻擊者條件充足的情況下,攻擊的繞過率分別高達86%(非定向)和65%(定向),而在條件不充足(比如僅支持2次請求)的情況下,攻擊的繞過率也可以達到33%(非定向)和16%(定向)。這個實驗結果表明,深度學習模型的“黑盒保護”看似安全,但是現實中還是存在弱點,而且在高效的攻擊手段面前,這個弱點還很嚴重。

  圖1:深度學習模型有限請求繞過率

  如果說對抗樣本的發現,將傳統安全產業框架延伸至機器學習模型算法安全性的范疇,那么當云端深度學習模型失去“黑盒保護”,則令這個問題更加嚴峻和復雜。這意味著,攻擊者一旦破譯了云端模型,未來可讓AI系統喪失對城市交通、道路標識及車輛正確的識別能力,對車輛實施遠程控制和對相關隱私信息的竊取,這個場景還可延伸至醫療保健、金融認證、工業控制等領域,蘊含巨大的安全風險。

  攻擊技術實現背后,引出了當前深度學習模型訓練常用的遷移學習(Transfer Learning)方法,及其從安全視角存在的缺陷。傳統機器學習通常有兩個基本條件,即用于學習的訓練樣本和新的測試樣本同一分布且相互獨立,且必須有足夠可用的訓練樣本,以確保模型的高準確和可靠性,但是實際中兩個條件往往無法滿足。遷移學習放寬了這兩個基本條件,這種機器學習的訓練方法可以利用僅有少量的標簽訓練建立出一個模型,同時令原先需要幾天甚至幾個星期的訓練時間縮短至幾小時甚至幾分鐘,讓普通用戶同樣可以享受到深度學習帶來的技術革新。例如ImageNet視覺對象識別數據庫的訓練數據集有超過1400萬張的圖像,輸出1000個類別,利用遷移學習,普通用戶可以在ImageNet模型的基礎上訓練出一個輸出遠遠低于1000類的模型。

 

 圖2:遷移學習訓練方法高效性及缺陷

  近年來,業內針對遷移學習展開廣泛的算法研究和實踐,在遷移學習放寬了機器學習兩大基本條件、將大數據模型遷移到小數據、個性化數據模型的訓練過程中,從安全視角,并非無懈可擊。例如,遷移學習這種訓練方法的高效性,來自于特征提取層的架構和參數被重復利用,同時在遷移學習過程中保持特征值和架構不變。正因如此,模型所使用的特征提取層可以通過一定的攻擊手段推算出來。百度安全研究員提出的“指紋攻擊”就是用于推算黑盒模型使用的特征提取層的有效方法——通過對深度學習模型的特征提取層中的最后一層的神經元的離散值的最小化,從而使得目標分類的置信度降低,通過搜集的14個不同的公開模型(VGG16, VGG19, RESNET50, MobileNET等),分別構造輸入樣本使得對應的模型特征提取層的最后一層神經元的離散值最小化,并把該構造后的樣本以API方式輸入云端黑盒模型,并觀察最后分類層的輸出結果。最后,選取API返回結果中置信度最低的樣本,并把生成該樣本的網絡架構作為云端模型的架構。當攻擊者知曉云端模型特征提取層的架構之后,他就可以按照白盒的方式精確的構造對抗樣本,從而對云端模型進行定向和非定向攻擊。

  與會,百度安全研究員介紹了百度安全針對對抗樣本的解決思路,以及通過對抗訓練強化模型提高深度學習模型魯棒性的途徑。百度安全針對人工智能算法安全性的研究,包括深度學習模型魯棒性測試、形式化驗證、機器識別惡意樣本實時監測、黑白盒攻防等領域。此外,百度安全始終倡導通過新一代技術研發與開源,實現對安全問題的快速響應與對抗,百度安全實驗室AdvBox對抗樣本工具包針對AI算法模型提供安全性研究和解決方案,目前已應用于百度深度學習開源平臺PaddlePaddle及當下主流深度學習平臺,可高效地使用最新的生成方法構造對抗樣本數據集用于對抗樣本的特征統計、攻擊全新的AI應用,加固業務AI模型,為模型安全性研究和應用提供重要的支持。

  人工智能在拓寬傳統產業格局框架的同時,也重塑了安全的防線邊界,傳統的安全防御已無法應對新時代的挑戰。百度安全的研究證明,人工智能時代不僅要面對曾經的云管端的安全問題,機器學習算法自身的安全性亦存在漏洞,存在現實威脅性。包括對抗樣本工具包AdvBox在內,百度安全2018年將首創的七大技術——KARMA系統自適應熱修復、OpenRASP下一代云端安全防護系統、MesaLock Linux內存安全操作系統、MesaLink TLS下一代安全通信庫、MesaTEE下一代可信安全計算服務、HugeGraph大規模圖數據庫——開源匯成“七種武器”,全面解決云管端以及大數據和算法層面的一系列安全風險問題,實現由傳統安全時代的強管理向AI時代的強技術支撐下的核心管理的轉變,全面應對AI時代下層出不窮且日益復雜的生態安全問題及挑戰。

  對抗樣本在機器識別領域是一個實實在在的威脅,不僅存在于黑盒/白盒模型中,并且真實存在于物理世界中。百度安全針對機器學習模型漏洞進行物理攻擊可行性研究,感興趣的同學請點擊“閱讀原文”,回顧百度安全科學家在Black Hat Europe 2018上重現AI版大衛•科波菲爾的“神秘魔法”。




關注ITBear科技資訊公眾號(itbear365 ),每天推送你感興趣的科技內容。

特別提醒:本網內容轉載自其他媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。


返回網站首頁 本文來源:互聯網

本文評論
2019世界地球日 來看看互聯網公司都做了什么?
  1970年的4月22日,美國各地超2000萬人組織了聲勢浩天的游和集會,呼吁人們對環境的保護和對地球資源...
日期:04-23
“圍鯤救鰻”成時下最火熱詞,百度貼吧討論量直奔千萬
最近幾天,又有一個熱詞火遍了全網絡,百度貼吧討論量更是直奔千萬,那就是從百度貼吧誕生的“...
日期:04-22
東方明珠九號卡丁體驗中心盛大開業 探索全新服務模式
4月21日,位于上海東方明珠塔的九號卡丁體驗中心正式投入運營。開業當天,現場活動高潮迭起、驚喜不斷...
日期:04-22
《向往的生活》第三季劇透:除了黃磊、何炅、彭昱暢 還有新人“小度”?
終于,《向往的生活第三季》要在4月8日正式回歸了,跟去年形式一樣,明星們遠離城市的喧囂,一起拙...
日期:04-21
傳百度贊助《向往的生活》 引發網友三大猜想
4月21日,在湖南衛視《向往的生活》第三季媒體看片會后,有網友爆出,百度是本季《向往的生活》贊助...
日期:04-21
再次爆發!FGS倫敦賽17頭名出線
自4月16日以來,絕地求生全球巔峰聯賽Faceit Global Summit)在倫敦正式開賽。在經過了三日的循環賽...
日期:04-20
語言智能的發展近期又有哪些突破?來聽百度王海峰的最新演講
“理解和運用自然語言是人工智能的核心問題之一。大數據、機器學習、深度學習和知識圖譜等技術...
日期:04-20
AI DAY驚現“異形”?原來是百度大腦的AR能力在“作怪”
4月19日,高通在深圳舉辦了一年一度的“Qualcomm人工智能開放日”(又稱AI DAY)。其中,一...
日期:04-20
英特爾“退群”背后的5G之戰
美國當地時間4月16日,此前一直“忙于法院見”的蘋果與高通在圣地亞哥聯邦法院達成和解協...
日期:04-20
思嵐科技發布新品雷達RPLIDAR S1,測距可達40米
2019年4月17日,專注于機器人自主定位導航領域的思嵐科技,對外發布其最新一代激光雷達產品RPLIDAR ...
日期:04-19
三星Galaxy A70首銷火爆,斬獲蘇寧手機銷量王
4月18日,三星Galaxy A70新品首銷當天,蘇寧易購舉辦三星超級新品日,為消費者帶來更多的福利。4月1...
日期:04-19
為什么大家都喜歡跟小度“嘮嗑”?百度地圖AI加持長語音識別更準確
在經歷了五一假期“升級”后,湊夠四天的小驚喜勾起了許多人外出游玩的心。那么如何在旅...
日期:04-19
WPS上架Mac蘋果商店首日便登頂,一場源自用戶的勝利!
北京時間4月19日凌晨,WPS Office for Mac版正式登陸蘋果Mac App Store應用商店一天后,直接躍升至...
日期:04-19
智能音箱三巨頭差距縮小 百度出貨量環比增速第一
Canalys日前發布報告稱,全球智能音箱的出貨量有望于2019年達到2億。中國智能音箱出貨量有望于2019...
日期:04-19
禧云國際聯合團餐謀發布《中國團餐行業信息化發展報告》
4月14日,在杭州舉辦的2019中國國際團餐產業大會上,禧云國際聯合團餐謀發布了《中國團餐行業信息化...
日期:04-19
復聯4喚醒寶爸英雄情結 漫威系列玩具同比增長826%
蘇寧418大促熱度一直居高不下。蘇寧大數據顯示,母嬰家庭趁機囤貨,奶粉尿褲銷量再創新高。復仇者聯...
日期:04-19
一夜之間5G芯片格局大變:天下五分 中國已有其三!
2019年4月17日,科技界發生了三件與5G手機基帶芯片相關大事:1、高通與蘋果之間的專利授權糾紛終于...
日期:04-19
讓AI無所不及,華為云EI使能行業智能化轉型
日前,華為第十六屆全球分析師大會在中國深圳召開。在“讓Cloud無處不在,讓AI無所不及”...
日期:04-18
奔馳漏油和996哪個事兒更大?巴黎圣母院:都不大…
  最近幾天,熱搜上的“瓜”可謂是一個接一個,熱點目不暇接,究竟誰拯救了誰,成為吃瓜群眾們津津樂道的話題。
日期:04-17
 
高清性色生活片