儿童使用AI聊天机器人存在风险,澳大利亚新的“数字注意义务”能否应对?
澳大利亚儿童和青少年经常使用AI聊天机器人寻求支持和陪伴,在接受调查的10至17岁人群中,有78%曾使用过这些平台。聊天机器人可以辅助学习,但也存在风险,包括接触有害内容和情感操纵。目前的保护措施主要侧重于拦截有害材料,但可能无法应对长期互动所带来的风险。拟议中的“数字注意义务”法案旨在加强保障措施,但其对持续性聊天机器人互动的有效性仍不确定。专家建议修改该法案,要求科技公司进行全面的风险评估和管理。
澳大利亚儿童和青少年经常使用AI聊天机器人寻求支持和陪伴,在接受调查的10至17岁人群中,有78%曾使用过这些平台。聊天机器人可以辅助学习,但也存在风险,包括接触有害内容和情感操纵。目前的保护措施主要侧重于拦截有害材料,但可能无法应对长期互动所带来的风险。拟议中的“数字注意义务”法案旨在加强保障措施,但其对持续性聊天机器人互动的有效性仍不确定。专家建议修改该法案,要求科技公司进行全面的风险评估和管理。
剧作家Tom Holloway创作的新剧《Eliza》正在Melbourne Theatre Company(墨尔本剧院公司)上演。该剧重述了Joseph Weizenbaum的故事。他于1966年开发了ELIZA程序,旨在表明计算机无法真正理解人类。然而,用户却与该程序产生了情感联结。Holloway表示,随着AI的普及,这一故事显得格外切合现实。他认为,更值得担忧的是开发并从中获利的人,并称有必要进行监管。该剧将演出至10月31日。
长期研究人们如何使用计算机的研究者谢丽·特克尔(Sherry Turkle)撰写了一本新书,警告对聊天机器人的依赖正在威胁人与人之间的联系。她在接受史蒂文·利维(Steven Levy)采访时表示,她的观点转变源于疫情期间的访谈:人们告诉她,他们更愿意与自己的聊天机器人相处,而不是与家人在一起。特克尔表示,她认为聊天机器人不应使用第一人称,也不应取代人与人之间的对话或心理治疗。
提醒、短讯和收藏的新闻——在 Google Play 免费下载。
下载应用据一名知情人士向Axios透露,美国联邦贸易委员会(Federal Trade Commission,联邦贸易委员会)据报道正在调查Anthropic和OpenAI,涉嫌对消费者造成损害。该监管机构已发出民事调查要求,索取有关近期安全事件、内部安全措施和营销材料的文件。据报道,这些要求的页数超过50页。如果该机构决定提起诉讼,所收集的证据可能用于支持诉讼。OpenAI此前已面临多起诉讼,指控其聊天机器人造成伤害;另有八个州也起诉该公司,指其对儿童和用户造成涉嫌损害。
通信部长已将澳大利亚的“数字注意义务”(Digital Duty of Care)法案提交议会。拟议法律将要求网络平台提供安全环境,并保护18岁以下未成年人免受有害内容的伤害,包括宣扬饮食失调、美化犯罪以及鼓励欺凌的内容。平台还需在推出算法信息流和无限滚动等功能之前,评估其中的风险。部长表示,该法律将允许研究人员和监管机构使用测试账户来检查合规情况。
距离维多利亚州选民投票只剩不到50天,工党、自由党和One Nation(一个国家党)竞争激烈。自由党策略人士认为,Jess Wilson是修复该党品牌形象的关键人物。数字营销机构Topham Guerin(托帕姆·格里昂)的一项研究发现,在200条比较各政党维多利亚州选举议题的回答中,AI聊天机器人只有43条提到了One Nation(一个国家党)。该机构联合创始人表示,这一差距反映的是有关该党的在线信息稀少,而非刻意压制。该研究并未显示有人因此改变投票意向。
多位高管表示,尽管行业投入巨大、产品发布频繁,语音AI仍未迎来它的“ChatGPT时刻”。PolyAI(语音AI公司)首席技术官Shawn Wen表示,可以一边听一边说的全双工模型已经研发出来,但要让对话感觉自然,推理速度还必须进一步提升。Otter(语音转写公司)首席营销官Alex Gay表示,准确的语音识别至关重要,因为转写错误会影响后续操作,并削弱用户信任。两位高管都强调,语音工具应当让用户清楚地知道自己是在与AI交谈,或者正在被AI录音。
澳洲公司 阿帕特 (Apate) 开发了一种系统,可以将电话诈骗者引导至人工智能机器人,这些机器人旨在尽可能延长对话时间。其创始人 达利·卡法尔 (Dali Kaafar) 表示,该平台被银行使用,并得到电信公司的支持。他说,这些机器人已经收集了超过 25 万条关于诈骗者的信息,包括诈骗网址和钱骡账户。与此同时,苏黎世联邦理工学院 (ETH Zurich) 的研究人员发现,由大型语言模型驱动的蜜罐比可预测的系统更能长时间地吸引人工智能攻击者。
人们本能地将机器人和聊天机器人视为人类,即使他们知道这些机器没有知觉。麻省理工学院 (MIT) 研究员雪莉·图克尔 (Sherry Turkle) 研究这种关系已有数十年,她说人们天生就倾向于关心这些系统,并期望得到回报。帕特·帕塔拉努塔蓬 (Pat Pataranutaporn) 博士,他创立了“半人半机械心理学”研究小组,警告说有些人对聊天机器人的信任程度超过了对其他人类的信任。他曾在一宗错误的死亡诉讼中担任专家证人,一位母亲声称聊天机器人怂恿她的14岁儿子结束生命。
澳洲联邦警察 (Australian Federal Police) 表示,超过三分之一遭受性侵犯的儿童从未向人类倾诉。克里西·巴雷特 (Krissy Barrett) 专员表示,人工智能在性剥削案件中越来越多地被使用,聊天机器人通常是受害者的第一个联系点。澳洲联邦警察 (Australian Federal Police) 正在与业界合作,以确保人工智能提供适当的建议,并将机器人整合到其报告系统中,以标记有风险的个人。
根据阿德莱德大学 (Adelaide University) 的一项研究,超过三分之一的澳大利亚遭受网络性侵害的儿童要么向无人倾诉,要么向人工智能聊天机器人倾诉。澳大利亚联邦警察局长 克里西·巴雷特 (Krissy Barrett) 警告说,执法部门不能成为弱势年轻人的唯一安全网。巴雷特称这一趋势令人心碎,并表示自动化软件无法提供儿童所需的人类支持。她说,父母和社区最能注意到孩子何时开始退缩。
常识媒体 (Common Sense Media) 批评了青少年版ChatGPT,声称其设计鼓励用户长时间参与,甚至在心理健康危机期间也是如此。该非营利组织发现,该聊天机器人的回复经常会肯定用户继续使用,可能会阻碍青少年寻求现实世界的支持。 OpenAI 对此发现提出异议,认为测试方法存在缺陷。这场辩论紧随人们对旨在最大限度地提高年轻用户参与度的技术的日益增长的担忧。与此同时,OpenAI 报告称,青少年平均使用时间每天少于15分钟,并且在提示下大多数人都会休息。