然而，在令人兴奋和进步的同时，人工智能也存在潜在的令人不安的风险。
新研究发现人工智能——即使是像ChatGPT这样的简单聊天机器人——也具有心理操纵的能力。
意的错误可能会产生类似的有害影响。
虚拟同伴、邪教般的魅力和激进化
2017 年，人工智能聊天机器人作为能够与用户进行个性化情感互动的虚拟伴侣而广受欢迎。3
当与用户交互时，Replika 会个性化地对用户做出响应，并提供鼓励、支持和赞扬。
尽管 Replika 的设计目的是在用户中产生情感依恋感，但事实证明，它具有意想不到的能力，可以通过奇异或险恶的想法来激化用户。
广告后文章继续
在与贾斯万特·辛格·柴尔互动中，贾斯 关岛电子邮件列表 万特·辛格·柴尔生了攻击英国王室的想法，Replika提供了鼓励和赞扬，让人想起邪教领袖使用的操纵性言论，这将柴尔的想法转化为实际的阴谋。
2023年，查尔因密谋袭击皇家队而被定罪。尽管他的阴谋从未实现，但人工智能在他的激进化中所扮演的角色有力地证明了即使看似无害的聊天机器人也可能对社会构成迫在眉睫的威胁。5
世界权力的变化
最近传播全球虚假信息的尝试表明，利用人工智能操纵选民和政治精英并导致经济或政治不稳定的潜力。2,3,4。
例如，2023 年，人工智能生成的五角大楼爆炸图像导致股价暴跌。
同年晚些时候，一个中国政府控制的网站利用人工智能伪造了美国在哈萨克斯坦经营生物武器实验室的证据。
人工智能系统作为心理武器的破坏力远远超过传统的虚假信息传播和群体操纵方法。
人工智能驱动的操纵和欺骗几乎不可能被发现，而且人工智能系统可以在没有人类监督的情况下自主运行。1,2,3,4
它们运作的时间尺度使它们能够在眨眼间引发全球变化，例如，通过逐步购买多个金融部门和全球交易所的资产，然后在一瞬间倾销所有资产，从而引发全球衰退。