近日，聯合國教科文組織發布《在教育和研究中使用生成式人工智能的指南》（Guidance for generative AI in education and research）（以下簡稱《指南》）。《指南》是ChatGPT生成以來、用戶突破100萬時頒布的首份規范生成式人工智能相關內容和行為的指導性文件。《指南》在強調對生成內容進行人工審核、標識以及考慮倫理原則的基礎上，從生成內容、政策法規、知識產權和數字鴻溝等六個層面分析了生成式人工智能可能帶來的顯性與隱性風險，并從政府、服務提供者、用戶等層面提出具體舉措防范其可能帶來的風險。

生成式人工智能的顯性風險

生成式人工智能并非新鮮事物，但是在其大規模應用于日常工作和學習之前，首先要明確這一技術本身可能帶來的風險。

輸出內容脫離現實，信任赤字發生。生成式人工智能模型并不是通過對現實世界的觀察和科學取證的方法來輸出結果，因此其生成的文本準確性和真實性有待商榷。而且，智能模型本身不是建立在真正理解語言和現實社會的基礎之上，其內容往往偏離人類社會的價值取向，容易產生誤導性的術語和話語體系。如果閱讀和使用相關內容的教師和學生對此不加思考和批判，而選擇依賴和信任，就必然給知識、技能和價值的傳承帶來風險，進而導致信任赤字的發生。

缺乏具體法規引導，監督監管乏力。技術立法往往落后于技術發展的步伐，缺少法規和條例的引導和規制，越來越多使用生成式人工智能的公司發現其系統運行的安全性受到了很大挑戰。雖然人工智能的運用能夠顯著提高人們完成任務的能力，但是政府對許多提供生成式人工智能服務的公司監督監管政策法規與手段有限，隨意獲取和使用數據的行為泛濫，需要適當的立法來保護個人和機構的權利。《指南》指出，目前中國、歐盟國家和美國已出臺政策法規，修訂具體法律來規范生成式人工智能可能帶來的風險。

數據來源未獲授權，侵犯知識產權。眾所周知，生成式人工智能模型是由大量數據構建的，但這些數據是從互聯網抓取的，其使用和傳播往往沒有獲得數據和信息所有者的授權許可。如果運用未被授權的數據內容生成文本、圖片等，就有可能被指控侵犯知識產權。學生和教師如果不加辨別地使用相關內容，也會被追溯相應的法律責任。因此，研究人員、教師和學習者不僅需要了解數據所有者的權利，而且也應該在使用生成式人工智能時提高知識產權保護意識。

模糊真實與仿真界限，傳播虛假信息。由于缺少嚴格的法規和有效的監督機制，生成式人工智能應用所輸出的文本、圖像和視頻往往真偽難辨。在一定意義上，生成式人工智能模型使深度造假變得更加簡捷容易，假新聞的制造成本也會更低。對于世界觀和價值觀仍處于形成時期的年輕人來說，如果急功近利又缺乏扎實、系統的知識體系和辨別信息真偽的能力，生成式人工智能工具和應用會給其發展帶來巨大隱患與風險。因此，處于教育領域的研究人員、教師和學習者需要提高對生成式人工智能輸出材料的真偽辨別能力。

生成式人工智能的隱性風險

生成式人工智能在帶來顯性風險的同時，由于技術本身的局限性，也會加深信息繭房、數字鴻溝等風險，加劇社會不公平現象。

邊緣化弱勢群體，造成不均衡發展。生成式人工智能模型數據來源于互聯網，如果互聯網中某一話題或內容經常出現，就會傳遞給模型，這是主流或主導信息的信號，使其在輸出結果時更傾向于重復這些話題和信息。這有可能限制和破壞不同意見與多元思想表達的有效發聲。在缺乏數據的地區，網上關于該地區人群的內容相對有限，他們的聲音往往不被聽到或淹沒在海量數據中，使其存在進一步被邊緣化的隱性風險。為此，《指南》明確建議，各國政策制定者應意識到并采取行動，解決因使用、訓練和控制通用模型的差距擴大而導致的不同人群和地區不平等加劇的問題。

擴大貧困差距，加深數字鴻溝。生成式人工智能是一種新興的人工智能技術，是傳統人工智能架構的迭代創新，需要基于大量的數據與巨大的計算能力，這就意味著生成式人工智能只能在技術先進的國家和地區普及開來，并被少數經濟體所掌控。數字貧困差距進一步擴大，科技弱勢地區的話語權被忽視，其潛在的風險就是發達經濟體的價值觀廣泛傳播，數字鴻溝也會不可逆地加深。

防范生成式人工智能風險的舉措

生成式人工智能的發生與發展，為人類生產生活尤其是教育的發展帶來無限可能。有效防范生成式人工智能帶來的風險，有助于我們充分發揮生成式人工智能的優勢，更好地應用于生活和學習場景。

提升外部監督監管的力度。離開外部持續有效監督的人工智能，不僅會給人類發展帶來風險，而且會給教育造成無限裂痕。因此，《指南》指出，政府監管機構要通過政策立法對生成式人工智能的設計、演進進行有效引導、統籌管理。制定的政策框架需要與各國的立法和監管背景保持一致，并且要隨人工智能技術更迭而更新，不斷提高現有法規的適用度。在監管的同時給予人工智能創新的自由度，協同創造出更高質量的內容。

強化生成式人工智能提供者的責任意識。提供生成式人工智能的公司要以負責任和合乎道德的態度，提供通用系統和應用程序以滿足教學、學習和研究的需要。首先，要確保生成式人工智能提供商證明其模型和數據來源可信并遵守相關的知識產權法。其次，需要強力監管生成式人工智能輸出帶有歧視和偏見性的內容。最后，對于不可知生成式人工智能模型的內部運作過程，相關提供商需要給出合法解釋，將其過程透明化。

規范機構用戶的內部評估。教育機構是人工智能的使用者，它們不僅需要對生成式人工智能工具進行監管和定期審計，保護用戶數據和自動過濾不恰當的內容，需要關注生成式人工智能運用到教育領域對于學生創造力和批判性思維造成的長期影響，并予以評估和處理，還要對獨立使用者設定最低年齡限制，如基于ChatGPT使用建議，將使用門檻的最低年齡設為13歲。

引導個人用戶自我約束。生成式人工智能工具目前被包括研究人員、教師和學生等在內的人群使用，但其從發生到廣泛使用的過程是基于技術驅動而非需求驅動，這就使其缺少了倫理道德原則的考量，缺少用戶在使用時要避免損害他人的聲譽和合法權利的約束性建議。因此，個人用戶要加強自我約束意識和行動，當發現某項非法的生成式人工智能程序時要及時向監管機構報告，保證人工智能合法合規地運用于社會。

（作者單位系浙江師范大學教育學院，陳殿兵系該院副教授）

《中國教育報》2023年11月09日第9版