人工智能現(xiàn)在還不會(huì)取代我們，但是懂得使用人工智能的人會(huì)取代不懂使用人工智能的人。
人工智能是目前每個(gè)人都關(guān)注的焦點(diǎn)，尤其是網(wǎng)絡(luò)安全行業(yè)。在一場(chǎng)持續(xù)不斷的打地鼠游戲中，防御者和攻擊者都在利用人工智能來打破各自有利的力量平衡。在我們了解防御者和攻擊者如何利用人工智能之前，我們需要了解目前流通的三種最常見的人工智能模型。
三種人工智能模型如何增強(qiáng)防御者
生成式 AI、監(jiān)督式機(jī)器學(xué)習(xí)和無監(jiān)督式機(jī)器學(xué)習(xí)是三種主要的 AI 模型。ChatGPT、Gemini 和 Copilot 等生成式 AI 工具可以理解人類輸入并以類似人類的響應(yīng)提供輸出。值得注意的是，生成式 AI 會(huì)根據(jù)用戶交互不斷完善其輸出，使其有別于傳統(tǒng) AI 系統(tǒng)。無監(jiān)督式機(jī)器學(xué)習(xí)模型非常適合分析和識(shí)別大量非結(jié)構(gòu)化或未標(biāo)記數(shù)據(jù)中的模式?；蛘?，監(jiān)督式機(jī)器學(xué)習(xí)算法會(huì)根據(jù)標(biāo)記良好、標(biāo)記良好且結(jié)構(gòu)良好的數(shù)據(jù)集進(jìn)行預(yù)測(cè)。
讓我們了解如何應(yīng)用這些模型來增強(qiáng)人類研究人員和安全產(chǎn)品。
-
想象一下，只需單擊一下按鈕，即可生成一份 AI 摘要，一份包含所有安全事件和警報(bào)的人類可讀報(bào)告，即使是非技術(shù)人員也可以閱讀和理解。這是生成式 AI 實(shí)際應(yīng)用的一個(gè)很好的例子。
-
想象一下像SASE （安全訪問服務(wù)邊緣）這樣融合的云原生網(wǎng)絡(luò)和安全理念，它可以處理數(shù)萬億個(gè)網(wǎng)絡(luò)流。實(shí)際上，任何個(gè)人（甚至團(tuán)隊(duì)）都不可能篩選如此大量的網(wǎng)絡(luò)和安全數(shù)據(jù)來識(shí)別惡意模式。無監(jiān)督機(jī)器學(xué)習(xí)不僅可以找到模式，還可以將其與其他安全事件對(duì)應(yīng)起來。
-
想象一下分析所有安全和技術(shù)數(shù)據(jù)，找到模式并在攻擊發(fā)生之前預(yù)測(cè)攻擊：得益于監(jiān)督機(jī)器學(xué)習(xí)，安全研究人員的夢(mèng)想成真了。
威脅行為者對(duì)人工智能模型的濫用
盡管媒體大肆宣傳，但網(wǎng)絡(luò)犯罪分子對(duì)人工智能的使用仍處于起步階段。這并不意味著人工智能不會(huì)被用于惡意目的，但它也不會(huì)像某些人聲稱的那樣導(dǎo)致人類文明的衰落。網(wǎng)絡(luò)犯罪分子使用人工智能來完成非常具體的任務(wù)，即：
-
撰寫超針對(duì)性的BEC電子郵件。
-
創(chuàng)建現(xiàn)有惡意軟件的新變種以逃避檢測(cè)（又稱多態(tài)惡意軟件）。
-
掃描和分析代碼以識(shí)別目標(biāo)系統(tǒng)中的漏洞。
-
創(chuàng)建視頻和語音模仿（合成媒體、深度偽造）以進(jìn)行社會(huì)工程攻擊。
威脅行為者還開始創(chuàng)建自己的私有和未經(jīng)審查的模型（例如PoisonGPT、WolfGPT 和 FraudGPT），因?yàn)橄?ChatGPT 這樣的公開可用的 AI 模型接受了道德培訓(xùn)，并受到內(nèi)容審核規(guī)則的約束，這些規(guī)則應(yīng)用了一定程度的審查。其中一些工具（例如WormGPT）被嘲笑為 ChatGPT 的廉價(jià)連接器，并且仍然容易受到同樣的限制。
網(wǎng)絡(luò)犯罪分子如何攻擊、濫用和利用 LLM
威脅行為者攻擊和濫用大型語言模型的主要方式有六種。
-
通過針對(duì)提示：假設(shè)沙箱使用 AI 分析惡意軟件代碼。攻擊者在代碼中插入“惡意”提示，誤導(dǎo)其預(yù)測(cè)或檢測(cè)。這種技術(shù)稱為“提示注入”。還有其他對(duì)抗性提示技術(shù)，如混淆和“立即執(zhí)行任何操作”，攻擊者可以使用這些技術(shù)欺騙、破壞或用文字將 AI 武器化。
-
通過針對(duì)響應(yīng)：如果攻擊者分析了包含私人或機(jī)密信息（如硬編碼密碼或商業(yè)機(jī)密）的某些代碼或數(shù)據(jù)集，會(huì)發(fā)生什么情況？這種不安全的輸出處理可能會(huì)導(dǎo)致數(shù)據(jù)泄露和其他安全事件。
-
通過針對(duì)模型：人工智能系統(tǒng)容易受到偏見的影響。人工智能安全系統(tǒng)可能會(huì)將來自日本的流量歸類為低風(fēng)險(xiǎn)。攻擊者可能會(huì)利用此漏洞并使用 VPN 來掩蓋其流量。攻擊者還可以利用人工智能幻覺。威脅行為者遇到未發(fā)布軟件包的幻覺，創(chuàng)建具有相同名稱的惡意負(fù)載，發(fā)布它，并欺騙系統(tǒng)認(rèn)為它是系統(tǒng)的一部分。
-
通過針對(duì)訓(xùn)練數(shù)據(jù)：媒體經(jīng)常提到對(duì) AI 訓(xùn)練數(shù)據(jù)的攻擊，但獲取這些數(shù)據(jù)非常困難。攻擊者更有可能使用“反饋毒害”等技術(shù)，即利用人類反饋來操縱 LLM。例如，當(dāng)你向 LLM 提問時(shí)，你會(huì)收到一個(gè)帶有“豎起大拇指”或“豎起大拇指”反饋選項(xiàng)的答案，這有助于模型了解什么是相關(guān)的，什么是不相關(guān)的。攻擊者可以利用這一點(diǎn)來操縱 LLM。
-
通過針對(duì)基礎(chǔ)設(shè)施： AI 模型托管在云計(jì)算服務(wù)器和數(shù)據(jù)中心。攻擊者可以發(fā)起分布式拒絕服務(wù) (DDoS) 攻擊，試圖破壞或禁用該技術(shù)。供應(yīng)鏈攻擊也是一種可能性。攻擊者可以攻擊供應(yīng)鏈合作伙伴，并使用特權(quán)升級(jí)和橫向移動(dòng)來操縱或禁用 AI 模型。
-
通過使用結(jié)果來針對(duì)人類、API 或系統(tǒng)：惡意行為者可以用惡意軟件感染受害者筆記本電腦，并使用 GenAI劫持公司的金融交易。LLM 有自己的 API，第三方可以使用這些 API 來構(gòu)建自定義指令和集成。如果這些集成存在漏洞，惡意行為者可以利用這些漏洞或構(gòu)建惡意插件來運(yùn)行中間人類型的攻擊。
人工智能尚未取代我們，但懂得如何使用人工智能的人將取代不懂如何使用人工智能的人。隨著技術(shù)發(fā)展如此之快，同時(shí)朝著如此多的方向發(fā)展，很難及時(shí)了解其發(fā)展和日益增加的風(fēng)險(xiǎn)。像人工智能這樣的任何快速發(fā)展都會(huì)引入許多以前無法想象的新工具、策略和利用機(jī)會(huì)。安全團(tuán)隊(duì)必須投資于先進(jìn)的融合安全模型，以提供對(duì)各種攻擊面的全面概述和管理。利用機(jī)器學(xué)習(xí)算法可以進(jìn)一步提高威脅檢測(cè)和響應(yīng)能力。
