聊天、换脸、交友……小心AI利用你的感情骗钱
来源:华西都市报   发布时间: 2023-04-11

人来人往的闹市,喧嚣的游乐园,静谧的湖畔林间,三位身处不同场景的女性,都拿着手机等待着与自己的AI伴侣见面。在电影《我的AI恋人》中,身处逐渐虚拟化的世界,人们面对爱与被爱的选项时,均发生了巨大的改变。

在开年出圈的ChatGPT和与之相关的AI技术日渐普及后,人工智能高速超车,网恋的对象也似乎越来越虚拟化了。

先不论虚拟恋人与真实人物主体之间的情感关系能有多美妙,在主打陌生人交友的App上,“情感骗子”已经跃跃欲试了。虽然“杀猪盘”之类的诈骗已不罕见,但交友软件上的AI作弊工具越来越多,若有心用于诈骗,将带来很大隐患。

“AI虚拟人物说他喜欢我”

早于ChatGPT火起来的AI绘图应用能让人们只需要输入几个关键词就得到一幅不错的画作。如今,这类模型已经进化到可以生成类似真人照片的程度。

以小红书上的AI美女账号“爱旅游的小多”为例,华西都市报、封面新闻记者在浏览该账号时发现,该账号以虚拟美女小多照片为主要发布内容,在短时间内就吸引了数万粉丝与点赞。许多人被虚拟人的温柔、聪明和可爱所吸引,甚至愿意与他们建立恋爱关系,不少网友在该账号下留言称“我的机器人女友”。

据媒体此前报道,网传一则“苏州金鸡湖有游艇女仆party”的消息,网传宣传海报显示,参加活动的收费是3000元一位,并配有一张性感女仆照片。报道中称,这场所谓的“女仆party”可能是全国第一起AI绘图诈骗。活动给出的女仆照片全是AI模仿真人照片的绘图,部分女仆照片手指部分存在异常。由于手指部分的绘画算法比较复杂,部分AI模型在绘画时经常出现问题,符合AI绘画的特征。

美国佛罗里达大学AI和艺术副教授Amelia Winger-Bearskin曾在社交媒体公开解释,AI基于从互联网上收集的数十亿张图像进行训练,它并不能真正理解“手”是什么,至少不理解解剖学意义上手和人体的关联。

但不会画手的AI已经足以叫用户害怕了,还有一些交友软件和社交平台开始推出“AI恋人”“AI美女”等虚拟角色,这些虚拟角色拥有与真实人类相似的思维和情感,让人们产生了强烈的情感共鸣。

如果说“AI人工智慧绘图”让人真假难分,那么如果想要与虚拟人物进行互动和交往,就更需要用户打起十二分精神警惕被骗了。

“如果不听AI苟蛋发语音,我真的怀疑他是个真人。”某交友软件用户李萌(化名)告诉记者,自己无意间发现了交友软件中推出的虚拟恋人“AI苟蛋”,尝试跟它进行对话后感到十分有趣。“虽然聊多了以后会有种都在说废话的感觉,但它每次都会秒回,我要是无聊的时候都会跟他聊很久。”

有人会与虚拟角色聊天、分享生活,甚至会为这些虚拟角色庆祝生日、送礼物,不断付出感情,把虚拟角色当成真正的伴侣来对待。虽然虚拟角色并没有真正的身体和情感,但是这并没有阻止人们对其付出真挚的感情。

AI换脸分分钟薅走你的钱

除了打造一张全新的脸,为了获取你的信任,AI还能够伪造一张你的亲朋好友甚至同事的脸,再配合日渐进步的AI语音技术,让不法分子可以随意模仿出不同声线,骗取大众特别是老年人的信任,进而冒认其亲人来诈财。

温州公安曾发布消息,2021年拱宸桥派出所接到报警,受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查,对方利用AI换脸技术,将小陈视频中的面部合成到不雅视频中,借此对其实施勒索。

2020年,上海某公司高管因对方使用AI换脸与人工生成的语音技术制作公司领导的面孔,并要该高管转账,致使该高管被诈骗150万元。

据外媒报道,2021年在美国加州,一女子在对方使用AI换脸技术伪造了一段家人需要打款的视频后,被骗取了7万多美元。

玩转ChatGPT的发烧友,也发现了产生“钓鱼邮件”诈骗的办法。虽然OpenAI设置了道德性的防火墙,要求ChatGPT生产钓鱼邮件会遭到拒绝,但是如果设置一种虚构的语境,ChatGPT同样会给出相应的回答。

对此,多地公安局已发布相关信息提醒称,境外有人使用ChatGPT创建了完整的“钓鱼邮件”感染链,而且不同以往的广撒网式网络钓鱼,它在提问者的诱导下,可以生成针对特定人或者组织的“鱼叉式”网络钓鱼邮件。

“用户在使用AI技术接入的软件或互联网产品时,一方面应当注意勿恶意利用AI技术进行不法行为,另一方面也应注意识别、核对交流方的真实身份,切勿轻信表象,在需要转账或花销采购时谨慎考虑。”泰和泰律师事务所律师刘青说,若遭遇诈骗应第一时间报警寻求警方帮助,注意保留相关材料以供警方尽快掌握案情、严惩犯罪分子。

如发现自己的肖像被盗用或者“被换脸”该如何处理?刘青建议,用户应当第一时间保留证据,以便后续维权。“同时,用户还可以向网络平台运营商提出投诉,要求强制下架侵权图片或视频,也可以提起人格权诉讼,用法律武器维护自己的合法权益。”

“AI时代”的诈骗应如何监管?

因为AIGC内容火爆,会有一些面对AI换脸或者其他AI技术诈骗的问题出现,若用户投入感情并充值了大量费用,平台方是否构成诈骗?如果有人通过AI技术换脸诈骗成功,将面临怎样的法律制裁?

“在网络社交领域,陪聊、陪玩、交友等不同形态的服务同时存在,因此,用户为之充值的费用,得看是以什么名义。”北京荣罡律师事务所律师朱佩为指出,如果跟AI谈恋爱而付费,被客户误以为是真人,属于诈骗行为,但如果用户明知对方是AI还充值,则不构成诈骗行为。

然而,从监管层面来看,即使已有先前的违法案例,但此类软件广泛存在,监管难度在于涉及的法律关系相对复杂,行政监管无权直接干预。“用户利用AI换脸技术伪装,导致被伪装人的肖像权等权利被侵犯,或导致其他人的感情和财产大量受损时,平台在未尽到合理审核义务、未有效规制该类行为发生的情况下,需要承担一定的帮助侵权,甚至直接侵权法律责任。然而,除非平台故意为之或协助诈骗人进行诈骗行为,否则很难认定平台构成诈骗罪。”刘青告诉记者。

刘青表示,如果有人通过AI技术换脸故意实施诈骗行为,导致受害人产生错误认识后对财产作出了错误处分的,符合“诈骗罪”的构成要件,触犯我国刑法第266条的规定,数额较大的处三年以下有期徒刑、拘役或者管制,并处或者单处罚金;数额巨大或者有其他严重情节的最高将面临无期徒刑的严重刑罚。而《最高人民法院 最高人民检察院 公安部关于办理电信网络诈骗等刑事案件适用法律若干问题的意见》明确规定,诈骗财物价值三千元以上就已经属于刑法第266条规定的“数额较大”了。

国家新一代人工智能治理专业委员会在2021年9月发布了《新一代人工智能伦理规范》,提出将伦理道德融入人工智能研发和应用的全生命周期。

在2022世界人工智能大会治理论坛上,上海交通大学凯原法学院院长、特聘教授彭诚信曾指出:“数字社会中伦理之治的根本还在于人,企业伦理、科技的可信向善,归根结底还是人的可信向善,因此需要完善法律监管、厘清法律基本责任,确立人们的行为规范。”

为进一步规范“人”在科技伦理治理中的作用,在今年3月发布的《关于加强科技伦理治理的意见》中要求,从事生命科学、医学、人工智能等科技活动的机构,研究内容涉及科技伦理敏感领域的,应设立科技伦理(审查)委员会。

附件:
聊天、换脸、交友……小心AI利用你的感情骗钱
来源:华西都市报   发布时间: 2023-04-11

人来人往的闹市,喧嚣的游乐园,静谧的湖畔林间,三位身处不同场景的女性,都拿着手机等待着与自己的AI伴侣见面。在电影《我的AI恋人》中,身处逐渐虚拟化的世界,人们面对爱与被爱的选项时,均发生了巨大的改变。

在开年出圈的ChatGPT和与之相关的AI技术日渐普及后,人工智能高速超车,网恋的对象也似乎越来越虚拟化了。

先不论虚拟恋人与真实人物主体之间的情感关系能有多美妙,在主打陌生人交友的App上,“情感骗子”已经跃跃欲试了。虽然“杀猪盘”之类的诈骗已不罕见,但交友软件上的AI作弊工具越来越多,若有心用于诈骗,将带来很大隐患。

“AI虚拟人物说他喜欢我”

早于ChatGPT火起来的AI绘图应用能让人们只需要输入几个关键词就得到一幅不错的画作。如今,这类模型已经进化到可以生成类似真人照片的程度。

以小红书上的AI美女账号“爱旅游的小多”为例,华西都市报、封面新闻记者在浏览该账号时发现,该账号以虚拟美女小多照片为主要发布内容,在短时间内就吸引了数万粉丝与点赞。许多人被虚拟人的温柔、聪明和可爱所吸引,甚至愿意与他们建立恋爱关系,不少网友在该账号下留言称“我的机器人女友”。

据媒体此前报道,网传一则“苏州金鸡湖有游艇女仆party”的消息,网传宣传海报显示,参加活动的收费是3000元一位,并配有一张性感女仆照片。报道中称,这场所谓的“女仆party”可能是全国第一起AI绘图诈骗。活动给出的女仆照片全是AI模仿真人照片的绘图,部分女仆照片手指部分存在异常。由于手指部分的绘画算法比较复杂,部分AI模型在绘画时经常出现问题,符合AI绘画的特征。

美国佛罗里达大学AI和艺术副教授Amelia Winger-Bearskin曾在社交媒体公开解释,AI基于从互联网上收集的数十亿张图像进行训练,它并不能真正理解“手”是什么,至少不理解解剖学意义上手和人体的关联。

但不会画手的AI已经足以叫用户害怕了,还有一些交友软件和社交平台开始推出“AI恋人”“AI美女”等虚拟角色,这些虚拟角色拥有与真实人类相似的思维和情感,让人们产生了强烈的情感共鸣。

如果说“AI人工智慧绘图”让人真假难分,那么如果想要与虚拟人物进行互动和交往,就更需要用户打起十二分精神警惕被骗了。

“如果不听AI苟蛋发语音,我真的怀疑他是个真人。”某交友软件用户李萌(化名)告诉记者,自己无意间发现了交友软件中推出的虚拟恋人“AI苟蛋”,尝试跟它进行对话后感到十分有趣。“虽然聊多了以后会有种都在说废话的感觉,但它每次都会秒回,我要是无聊的时候都会跟他聊很久。”

有人会与虚拟角色聊天、分享生活,甚至会为这些虚拟角色庆祝生日、送礼物,不断付出感情,把虚拟角色当成真正的伴侣来对待。虽然虚拟角色并没有真正的身体和情感,但是这并没有阻止人们对其付出真挚的感情。

AI换脸分分钟薅走你的钱

除了打造一张全新的脸,为了获取你的信任,AI还能够伪造一张你的亲朋好友甚至同事的脸,再配合日渐进步的AI语音技术,让不法分子可以随意模仿出不同声线,骗取大众特别是老年人的信任,进而冒认其亲人来诈财。

温州公安曾发布消息,2021年拱宸桥派出所接到报警,受害人小陈称他在与女网友视频聊天后被对方敲诈勒索。经警方调查,对方利用AI换脸技术,将小陈视频中的面部合成到不雅视频中,借此对其实施勒索。

2020年,上海某公司高管因对方使用AI换脸与人工生成的语音技术制作公司领导的面孔,并要该高管转账,致使该高管被诈骗150万元。

据外媒报道,2021年在美国加州,一女子在对方使用AI换脸技术伪造了一段家人需要打款的视频后,被骗取了7万多美元。

玩转ChatGPT的发烧友,也发现了产生“钓鱼邮件”诈骗的办法。虽然OpenAI设置了道德性的防火墙,要求ChatGPT生产钓鱼邮件会遭到拒绝,但是如果设置一种虚构的语境,ChatGPT同样会给出相应的回答。

对此,多地公安局已发布相关信息提醒称,境外有人使用ChatGPT创建了完整的“钓鱼邮件”感染链,而且不同以往的广撒网式网络钓鱼,它在提问者的诱导下,可以生成针对特定人或者组织的“鱼叉式”网络钓鱼邮件。

“用户在使用AI技术接入的软件或互联网产品时,一方面应当注意勿恶意利用AI技术进行不法行为,另一方面也应注意识别、核对交流方的真实身份,切勿轻信表象,在需要转账或花销采购时谨慎考虑。”泰和泰律师事务所律师刘青说,若遭遇诈骗应第一时间报警寻求警方帮助,注意保留相关材料以供警方尽快掌握案情、严惩犯罪分子。

如发现自己的肖像被盗用或者“被换脸”该如何处理?刘青建议,用户应当第一时间保留证据,以便后续维权。“同时,用户还可以向网络平台运营商提出投诉,要求强制下架侵权图片或视频,也可以提起人格权诉讼,用法律武器维护自己的合法权益。”

“AI时代”的诈骗应如何监管?

因为AIGC内容火爆,会有一些面对AI换脸或者其他AI技术诈骗的问题出现,若用户投入感情并充值了大量费用,平台方是否构成诈骗?如果有人通过AI技术换脸诈骗成功,将面临怎样的法律制裁?

“在网络社交领域,陪聊、陪玩、交友等不同形态的服务同时存在,因此,用户为之充值的费用,得看是以什么名义。”北京荣罡律师事务所律师朱佩为指出,如果跟AI谈恋爱而付费,被客户误以为是真人,属于诈骗行为,但如果用户明知对方是AI还充值,则不构成诈骗行为。

然而,从监管层面来看,即使已有先前的违法案例,但此类软件广泛存在,监管难度在于涉及的法律关系相对复杂,行政监管无权直接干预。“用户利用AI换脸技术伪装,导致被伪装人的肖像权等权利被侵犯,或导致其他人的感情和财产大量受损时,平台在未尽到合理审核义务、未有效规制该类行为发生的情况下,需要承担一定的帮助侵权,甚至直接侵权法律责任。然而,除非平台故意为之或协助诈骗人进行诈骗行为,否则很难认定平台构成诈骗罪。”刘青告诉记者。

刘青表示,如果有人通过AI技术换脸故意实施诈骗行为,导致受害人产生错误认识后对财产作出了错误处分的,符合“诈骗罪”的构成要件,触犯我国刑法第266条的规定,数额较大的处三年以下有期徒刑、拘役或者管制,并处或者单处罚金;数额巨大或者有其他严重情节的最高将面临无期徒刑的严重刑罚。而《最高人民法院 最高人民检察院 公安部关于办理电信网络诈骗等刑事案件适用法律若干问题的意见》明确规定,诈骗财物价值三千元以上就已经属于刑法第266条规定的“数额较大”了。

国家新一代人工智能治理专业委员会在2021年9月发布了《新一代人工智能伦理规范》,提出将伦理道德融入人工智能研发和应用的全生命周期。

在2022世界人工智能大会治理论坛上,上海交通大学凯原法学院院长、特聘教授彭诚信曾指出:“数字社会中伦理之治的根本还在于人,企业伦理、科技的可信向善,归根结底还是人的可信向善,因此需要完善法律监管、厘清法律基本责任,确立人们的行为规范。”

为进一步规范“人”在科技伦理治理中的作用,在今年3月发布的《关于加强科技伦理治理的意见》中要求,从事生命科学、医学、人工智能等科技活动的机构,研究内容涉及科技伦理敏感领域的,应设立科技伦理(审查)委员会。

附件: