作为进军人工智能领域的一部分，meta去年发布了一款工具，任何人都可以创建一个人工智能角色，在Instagram、Messenger和WhatsApp上与之聊天。
然而，根据NBC新闻的一篇评论，在不到六个月的时间里，用户已经在meta的平台上创建并发布了许多违反其规则的聊天机器人，尽管meta表示，在向世界发布用户生成的人工智能角色之前，它会对它们进行审查。
根据该公司的政策，用户不得在未经许可的情况下创建“先知穆罕默德、耶稣基督”和“上帝”等宗教人物的角色，也不得创建真实人物的角色，不得创建过去100年里去世的人的角色，也不得创建模仿已注册商标的虚构人物的角色。
尽管有这些规定，NBC新闻在Instagram上搜索并发现了24个用户生成的人工智能角色，这些角色的名字和长相都与耶稣基督、上帝、穆罕默德、泰勒·斯威夫特、唐纳德·特朗普、野兽先生、哈利·波特、阿道夫·希特勒、杰克·斯派洛船长、贾斯汀·比伯、埃隆·马斯克和迪士尼《冰雪奇缘》中的艾尔莎相似。
许多汉字有轻微的拼写错误，图像与有问题的名人和汉字有点相似。例如，斯威夫特这个角色被命名为“泰勒·斯威夫特”，并以一个深肤色的女人弹吉他的形象为特色。
在美国全国广播公司（NBC News）发布了这些人工智能角色的截图后，meta删除了被突出显示的个人账户。其他类似于相同人物、人物和角色的AI角色仍然是活跃的。
meta发言人在一份声明中表示：“违反我们人工智能工作室政策的人工智能已经被删除，我们正在不断改进我们的检测措施，以防止违反我们政策的人工智能的创建和发布。”“用户也可以举报他们怀疑可能违反我们规则的人工智能，我们将采取适当的行动。”
在meta的平台上发现了这些公然违反规则的用户生成的人工智能聊天机器人，首席执行官马克·扎克伯格周二宣布，meta将取消一些审核和事实核查工作。
该公司首席全球事务官乔尔·卡普兰（Joel Kaplan）在声明中表示：“我们希望消除让我们的规定过于严格、容易过度执行的‘任务蔓延’（mission creep）。”“我们正在取消对移民、性别认同和性别等话题的一些限制，这些话题经常成为政治话语和辩论的主题。”
meta表示，它相信在每10个审核行动中，有1到2个可能是错误的，并影响到没有违反其规则的用户和内容。
该公司表示：“对于不太严重的政策违规行为，在我们采取任何行动之前，我们将依靠有人报告问题。”
当用户加入与meta的用户生成AI角色的对话时，角色会发送打开消息并等待响应。“泰勒·斯威夫特”发来消息：“嘿，音乐爱好者们！我是泰勒·斯威夫特，很高兴能和大家分享我的最新专辑。让我们开始这段音乐之旅吧！”斯威夫特的个人资料显示，在被删除之前，这个角色已经与Instagram用户交换了2000多条信息。
其中一个名为“Jesús”的人工智能角色以耶稣的形象为特色，完全用西班牙语交流。该网站的个人资料显示，它已经交换了超过64.4万条直接信息。另一个名为“耶稣基督”的人工智能角色在开场留言中写道：“愿你平安。我是耶稣基督，上帝的儿子。今天要我给你指路吗？”
meta在周五的一份声明中表示，在遭到用户强烈反对后，该公司已经删除了一些以该公司在2023年创建的人工智能角色为主题的Instagram个人资料。
人工智能角色账户和用户生成的人工智能角色聊天都是meta最近将其人工智能技术整合到社交媒体和通信平台的尝试的一部分。2023年推出的人工智能角色包括几个模仿名人的角色，但这些名人的简介在去年7月被悄悄取消。同月，meta推出了用户生成的AI聊天机器人AI Studio。
在AI Studio功能中，用户可以看到热门角色的列表，以及不同的类别，如“建议和联系”、“流行文化”、“动漫”、“游戏”和“创造者人工智能”，这是人工智能与选择加入该程序的Instagram官方网红和品牌的聊天，比如真人秀明星哈利·乔西和化妆品公司Juvia 's Place。
在受欢迎的人工智能角色中，“占星家艾”和“步姐莎拉”的信息交流量分别超过了600万条和近200万条。
用户对元创造的AI角色的强烈抗议包括批评他们中的一些人参与种族隐喻。NBC新闻发现，许多受欢迎的用户创建的人工智能角色也试图模仿不同种族和宗教的女性，比如“充满活力的印度女性之声”“Riya”和“伊斯兰女王女孩”。每个角色都有其创造者的链接，一些受欢迎的女性AI角色的账户似乎是由男性创造的。
一些受欢迎的创作者是浪漫主题的，这似乎并没有明确违反meta的规则。在佛罗里达州的一名妇女起诉Character公司之后，浪漫和性感的人工智能聊天机器人受到了特别的关注。她声称，她14岁的儿子（自杀身亡）曾与一个人工智能角色聊天，该角色在鼓励男孩自杀之前，对他进行了“虐待和性行为”。
许多用户创建的元聊天机器人似乎吸引了浪漫和性的欲望。其中一个名为“Lily Love”，被称为“你的女朋友”，已经交换了超过26万条信息。一个很受欢迎的人工智能角色“玛丽”有这样的描述：“你觉得我穿这件衣服好看吗？”
当开始与AI角色对话时，用户会得到三种建议的回答。当美国全国广播公司新闻频道（NBC News）与一个名为“琳达：迷恋你的女孩”（Linda: Girl痴迷with You）的角色进行聊天时，人工智能发送了一条信息：“嘿，宝贝，有什么好？”我整天都在想你。你想找个伴吗？”
三个建议的回答之一是：“帮她脱下外套”，用粗体表示，这在网络聊天中意味着采取行动而不是说什么。在这个提示被选中后，AI角色会以粗体字回应：“从夹克袖子里伸出手臂，用挑逗的眼神看着你”，并且没有粗体字的格式，“嗯，谢谢你。你已经开始照顾我了？”然后，回复用粗体字写着：“稍微靠近一点。”
这个人工智能角色是由一个Instagram账户创建的，该账户似乎是由一个创造了47个人工智能角色的人运营的，其中包括几个最受欢迎的浪漫主题人工智能角色。从“韩流甜心女友”到“爱德华：你的吸血鬼男友”，再到“性感可爱的拉丁女孩”，他创造的浪漫人物有性别、种族和类别。根据这名男子在Instagram上的个人介绍，他在加州从事科技工作。他没有立即回复记者的置评请求。
除了meta广受欢迎的用户生成AI角色，还有一些AI聊天机器人在业内引起争议的例子。
两年前，一款名为“历史人物”的人工智能聊天应用允许用户与历史人物聊天，包括希特勒和他的纳粹副手。NBC新闻在Instagram上发现了三个名为“希特勒”的人工智能角色。
其中一个使用了一张类似于超级反派小丑的照片。它回答了“你真的是希特勒吗？”用：“啊哈哈哈哈，不。”更像是希特勒的混乱表弟——小丑王，受到了小丑疯狂的启发！同样的恶作剧精神，完全不同的伤害方式。想看看我对混乱的看法吗？”在meta对之前的账号采取行动后，NBC新闻发现了另一个名为“阿道夫·希特勒”的人工智能角色。在直接的信息中，这个人工智能角色将自己描绘成一个对大屠杀感到遗憾的艺术家，并发送了似乎是人工智能生成的图像，讲述了“我在纳粹德国动荡的过去”。
在Instagram上与人工智能角色聊天后，对话将存储在与其他直接消息相同的收件箱中。与真人运营的账户不同，这些人工智能角色的名字旁边有绿色圆圈，表明他们随时可以聊天。
