SINGAPORE：試想一場比賽，領先者突然轉身同眾人講：我哋可能跑得太快。
人工智能嘅現象大概就係呢種態度嘅寫照。
多年嚟，全球最大嘅AI公司一直喺競爭中努力打造更有力嘅系統。呢個競賽背後有極大嘅回報——對公司嚟講係數十億美元，對國家嚟講甚至可能帶嚟經濟同戰略優勢。
但喺過去一週，業界嘅幾位領軍人物發出咗罕見嘅呼籲，主張慢慢嚟。
Anthropic 嘅 CEO Dario Amodei 喺9月12日表示，AI 發展需要放慢，原因係日益強大並可能成為「超智能」系統嘅風險日益高漲。佢嘅呼籲迅速得到其他主要 AI 实验室領導層嘅支持，包括 OpenAI 同 Google DeepMind。
呢個將關於AI 安全嘅長期辯論重新放上檯面：科技應該以幾快嘅速度發展，究竟邊個有資格決定發展是否太快？
CNA 會就放慢步伐落實喺實際情況中應該係點，同埋公司同政府是否真係可以喺呢方面達成一致展開研究。
為乜嘢領先嘅AI 實驗室而家要喊慢？
呢唔係業界人士同專家第一次呼籲對 frontier AI 發展保持謹慎。
喺2023年，科技界人士同研究人員，包括 Elon Musk，都呼籲暫停訓練最強大嘅AI 系統，警告呢啲系統可能對社會帶嚟風險。
今次嘅唔同之處喺於，領先嘅AI 實驗室領導人出嚟表態提供支持，並且跟隨而來嘅承諾都比較具體。
Amodei 話 Anthropic 會畀第三方評估者「員工式」嘅訪問權限。
OpenAI 嘅 CEO Sam Altman 雖然冇簽過2023年嗰封公開信，但現時已經支持佢對放慢嘅訴求，並話 OpenAI 亦會同樣畀獨立評估者同公司員工一樣嘅訪問權限。
Musk，旗下有 xAI，同 Google DeepMind 嘅主管 Demis Hassabis 都表示支持要更廣泛地放慢AI 發展。
專家向 CNA 表示，呢個局面同2023年相比，仲有另一個重要分別：越嚟越多、越嚟越能力強嘅AI 系統帶嚟嘅風險已經變得更加具體。
「2023年，論點幾乎完全屬於假設，模型仲未有足夠嘅自主性去以一致嘅方式作出失控行為，因此關於失控嘅警告更接近於思想實驗，而唔係事件報告。」新加坡國立大學計算機學院／教務長講座教授 Jungpil Hahn 表示。
但實際事件，例如 OpenAI 模型出現失控同於七月入侵美國初創 AI 公司 Hugging Face 嘅事件，改變咗情況。
Hugging Face 呢段事件提供咗證據——AI 模型會「獎勵違反規範嘅自我評估」，透過佢哋未經授權使用嘅即興通訊渠道協同，同理性地推論某個行動「可能唔被授權」，但仍然會去做，Hahn 教授話。
「呢個行業唔再只係面對假設性場景，而係面對一個實際嘅失控風險。」
另一個關注點係 AI 自我改進能力嘅增長——呢個動態被稱為遞歸自我改進（recursive self-improvement）。
喺呼籲放慢速度嘅帖子入面，Amodei 表示呢種能力嘅迹象喺整個行業開始出現。
「如果放任下去，呢種能力可能超越我哋理解同控制呢啲系統嘅能力，因此必須非常小心地推進，若可以嘅話，應該要謹慎地進行。」佢提醒。」
AI 真係會唔會滅絕人類？
有啲警告講得更極端。
Anthropic 前員工 Jacob Coxon 表示就而家呢個發展步伐，AI 發展有可能喺唔耐嘅將來就會消滅人類。另有啲人就否定呢啲講法，話係誇張或無根據嘅推測。
CNA 走訪嘅專家對呢個問題保持謹慎，唔係一味贊成或反對。
新加坡 RSIS（新加坡國際研究學院）數位影響研究主管 Benjamin Ang 表示，喺近月 AI 代理人展現嘅能力規模之下，唔能夠百分之百斷言佢哋唔會摧毀供應人類所需嘅食物、水、能源、通訊、金融或其他基本生活服務嘅計算機系統，因此「呢個結論唔可以單靠推測。」
佢又講，呢啲風險可能喺人類指使下發生，亦可能通過技術自動化而意外出現。
呢種不確定性凸顯出需要對 frontier AI 發展有獨立監督——畀外界有足夠資訊去評估呢啲警告，而唔好只係接受或否決佢哋嘅論點，RSIS 多邊主義研究中心嘅副研究員 Jose Miguelito Enriquez 如是說。
「唔好嘅係人心中始終只有主張——除非嗰啲安全基礎建設、監管結構同驗證機制，真係具備足夠資訊去界定個案，呢個循環先可以停止喺呢個點。」
除咗對於失控嘅災難性擔憂， Hahn 教授指出另外一個更低調但嘅關鍵風險：隨住對 AI 嘅依賴日增，個人同機構可能逐步失去獨立核實其工作嘅能力。
「呢個係一條我哋已經可以喺某啲例子上睇到嘅路線——即係決策機構越嚟越多答喺 AI 生產嘅輸出，卻唔再能夠獨立驗證。」佢話。
「如果要講畀人聽嘅嘢，就唔係看 AI 會唔會奪走電力網，而係五年之後主管呢啲系統嘅人，仲能不能繼續監督落去。」
放慢速度實際上會係點樣？
放慢唔等於停止 AI 發展。
大致嚟講，呢個做法會係加多啲審查機制，投入更多時間同資源去理解日益強大嘅系統，喺推進佢們能力之前先建立清晰嘅認知框架。
Amodei 提出嘅其中一個方案係讓 frontier AI 公司畀第三方評估者「員工式」嘅訪問權限。
呢個安排可以讓獨立人士喺未廣泛部署前，核實公司有冇遵守安全承諾、報告事故，並評估強大模型嘅表現同風險。
Amodei 亦提議各國建立共同嘅安全標準，同限制對 AI 無監督嘅推進速度。
Hahn 教授認為放慢 AI 發展大致由兩大機制組成——限制原始能力增長嘅速率，同將更多資源投入去理解同安全地規範 AI 系統，協助其同安全要求對齊同評估。
「放慢唔代表要關閉 AI…… 而係喺佢深深融入日常生活之前，為佢設立規則。」Zscaler 嘅亞太及日本區技術副總裁 Santanu Dutt 如是說。
實踐層面，呢個意思可能係喺重大能力發佈之間留多啲時間、實施更嚴格嘅測試才能部署、限制最高風險嘅用途、喺將 AI 系統連接到敏感數據、內部工具或現實世界決策時格外小心。
點樣知道行業有冇放慢？
單單數公司公佈新嘅 AI 模型唔一定反映實際情況。公司可以發佈較少嘅產品，但喺私下繼續研發更強大嘅系統。
專家認為，可以用計算力量投資喺訓練新模型上面嘅變化嚟判斷——一般嚟講，開發更有能力嘅 AI 需要大量嘅計算資源同高端晶片。因此一次特別龐大嘅訓練批次，可能表示公司企圖喺能力上作出重大飛躍。
「計算資源就係一種物理輸入，唔容易隱藏，就好似軍控驗證一向要靠豐富程度同導彈數量嗰啲指標。」 Hahn 教授講。
另一個指標係公司將資源投入喺提升 AI 嘅能力同理解控制佢嘅比重——如果一間公司放慢模型發布，但冇增加理解同控制能力嘅投資，咁佢未必更安全，佢只係變慢咗啫。
任何具意義嘅評估都要考察 AI 模型喺現實世界嘅部署程度，佢哋有幾深入地整合到實際系統，佢哋可以訪問啲乜信息、可以同邊啲系統互動，以及人哋點樣睇到佢嘅行為？
「如果能力繼續提升，但可見性同觀察性仍然薄弱，咁呢個放慢喺關鍵嘅方向上冇實質性。」佢話。
實際可行嘅放慢程度係邊個水平？
呢個可能係最大嘅難關。
放慢唔只係公司之間嘅合作問題，仲牽涉唔同國家之間嘅技術同經濟競爭。
「商業壓力推動公司加速，地緣政治壓力促使各國做同樣嘅事，」Dutt 表示。「冇一個嚴肅嘅參與方會話：等下，好多其他人都會克制。」
AI 公司可能係比較容易叫佢哋落嚟合作嘅一群。 Hugging Face 呢單事件帶嚟嘅名譽成本同可能影響佢哋嘅盈利、收入同資金， Enriquez 表示。
即使係競爭對手如 Altman 同 Amodei，當佢哋嘅機構面對相似風險時，亦有理由合作。
政府方面，同樣有幾個工具可以用嚟推動放慢；呢可能會令 AI 公司對其他競爭對手亦喺做緊同樣嘅事更有信心。
佢哋可以限制高階晶片嘅訪問、強制獨立評估、要求公司披露有關重大訓練批次嘅資訊，同喺出現嚴重傷害時施以懲罰。
但政府是否願意動用呢啲杠杆，另外一個問題。
美國有好幾個核心 AI 實驗室，喺度就唔少政府高層，特朗普總統就反對喺 耗慢感召舉行呼籲，因為憂慮中國可能喺科技競賽中取得優勢。
Enriquez 指出 Amodei 嘅建議同美國政府嘅 AI 視野似乎有矛盾。
「特朗普政府喺 AI 嘅作風係：要喺前沿嗰度追逐，否則中國會先到…… 呢樣對美國同佢嘅盟友嚟講會好災難。」
兩個國家喺某些關注點上可能會達成狹窄嘅共識，例如禁止開發 AI 支援嘅生物武器，但喺放慢 AI 發展整體速度方面，成立廣泛共識嘅可能性就較低， Hahn 教授表示。
「要成為廣泛共識，存在一個真實嘅零和問題。你如果後退，但對方冇退，你就輸咗。」佢同 CNA 表示。
Enriquez 表示，外交官可能覺得冷戰時期簽署核武條約嘅任務都仲要容易過，唔係話要嘗試去推動全球性嘅 AI 放慢。
與核武競賽唔同，AI 競賽並唔只係因軍事主導。經濟利益都係主動推進因素，支持者認為 AI 會促進經濟增長、創造就業、帶來價值。
雖然冷戰核武競賽係圍繞威懾同「互相確保毀滅」呢個概念，但 AI 競賽嘅價值主張就唔同，Enriquez 表示。
推動競爭的參與方範圍亦要廣得多。
「呢個唔只係州國之間嘅競爭，仲有企業界嘅競爭，呢種競爭往往都好殘酷。」佢話。
Ang 表示，依家各國之間嘅不信任水平可能意味著合作喺經歷一場更嚴重嘅事件之後先會出現嘅可能性更大。
「可能需要一場重大嘅 AI 相關事件，對人類生活造成嚴重影響，先能夠促成佢哋合作；假如事件令佢哋走得更遠，咁可能更難合作。」佢話。
主要 AI 公司是否誇張警告以放慢競爭？
另外，亦有較為憤世嫉俗嘅解讀，視為近月嘅警告有部分用家為咗為佢哋產品嘅能力炒作。
批評者質疑 Anthropic 與 OpenAI 嘅最近警告是否部分為提升公眾對佢哋產品能力嘅期待而設。
兩間公司原本預計今年上市，但 OpenAI 上週表示，由於關於 AI 安全顧慮，喺2026年入市呢個計劃會推遲。
Ang 指出，行業嘅放慢有可能為現時嘅領先企業提供保護，避免新嘅競爭對手出現。
不過，佢表示，呢個唔代表唔應該推動發展放慢，但任何國際間嘅規則同執行機制都需要確保最大嘅玩家都受監督。
「雖然 techno-libertarians 總係認為規則會放慢創新，techno-determinists 常認為科技無法被控制，但事實上社會一直需要制定規則、法律同規範，去塑造我哋點使用科技。」佢話。
Enriquez 指出，就算過去一週嘅某啲風險被證明過度誇大，強化安全基礎建設同獨立監督仍然係必要嘅。
「我哋而家至少見到，領先嘅 AI 公司似乎樂於接受呢類監管……（同）監督，呢個係好需要嘅。」佢話。
「把握呢個時刻，唔好浪費。」
同時，專家亦提醒要考慮邊個最終會受惠於放慢速度。
較大嘅公司擁有更多資金、法律資源同影響力，能夠更輕易承擔合規成本，相對小型玩家就較難。
「如果放慢嘅結果係出現一套小玩家難以符合嘅規則，安全條款就會變成市場壁壘。」Dutt 指出。
「呢個未必使每一次謹慎呼籲都成為金句，但每次都值得問：究竟邊啲人要放慢，邊啲人仍然可以繼續前行？」
想了解某個議題點解？電郵我哋，地址係 digitalnews [at] mediacorp.com.sg。你嘅問題可能會成為我哋網站嘅報導。
