AI平台真正难解决的,不是让模型拒绝一次危险请求,而是把一次拒绝变成一套能持续运行、跨平台协作、经得起审核的儿童安全系统。
11月16日,OpenAI宣布推出一组针对儿童性虐待材料,也就是CSAM的安全工具,包括新的图像分类器、ChatGPT警告与临时封禁机制、开发者指南,以及面向执法协作的工具。表面看,这是一次内容安全功能更新,真正值得关注的却是另一件事,OpenAI正在把CSAM治理从模型输出层,推向检测、产品交互、开发者生态和外部协作共同构成的基础设施层。
这条路并不轻松。AI生成的虐待材料可能是从未出现过的新图像,传统哈希匹配难以直接识别;算法误报又会把大量审核压力重新推给人工团队。OpenAI给出的答案,是让模型先做“铲子”,把更可能有问题的内容筛出来,再把有限的人工审核资源集中到最需要判断的地方。
OpenAI把安全工具从“拒答”扩展到“闭环”
此次发布的核心工具,是一款用于识别CSAM的图像分类器。OpenAI称,它不仅能够识别已有数据库中的材料,也会寻找此前从未见过的图像中与虐待相关的视觉迹象,并输出一个分数,为审核人员提供处理方向。更关键的是,识别范围包括AI生成的CSAM。
OpenAI将通过API向选定公司免费提供这一分类器。它与美国失踪和受剥削儿童国家中心,也就是NCMEC共同开发,并与Tech Coalition和ROOST合作扩大工具的使用范围。这里的合作关系很重要,因为CSAM治理天然不是单个平台能独立完成的工作。图像可能在一个平台生成,在另一个平台传播,最终又进入儿童保护机构和执法流程。
早期测试给出了一个相当具体的结果。OpenAI称,在发现相同数量虐待图像的情况下,分类器标记的图像数量减少了48%。换句话说,审核人员不必再把同样多的时间花在低概率样本上。被分类器标记的图像,成为虐待图像的可能性是其他图像的两倍。
这不是简单的“准确率更高”。对平台来说,更有价值的指标是,在不减少发现量的前提下,能否降低人工审核量。安全系统的瓶颈往往不是模型能不能看见,而是人工审核团队能不能承受持续不断的告警。
OpenAI同时把干预动作前移到用户端。ChatGPT会对试图访问或生成性化儿童内容的请求显示警告,停止相关对话,并把用户引向专业支持资源。根据TechCrunch报道,相关账户还可能被临时暂停24小时,重复违规则可能被永久关闭。OpenAI已经在产品层面拦截CSAM相关内容和请求,这次增加的警告机制,相当于在“拦截”之前再加一道明确的行为阻断。
这套设计有一个容易被忽略的变化。它不再只把安全理解为模型的一句“我不能帮助你”,而是把警告、对话终止、账户处罚和求助引导放在同一条链路中。模型负责识别意图,产品负责打断行为,平台和外部机构再根据各自职责承担后续治理与保护工作。
技术难点不在“看见”,而在“看懂新样本”
为什么AI生成的CSAM会让传统治理手段失效?因为已知材料和新生成材料是两类不同问题。
对已知CSAM,平台可以使用哈希匹配技术。图像一旦被权威机构确认,系统就能通过数字指纹识别相同或高度相似的文件。这类方法适合拦截已进入数据库的材料,但对完全新生成的图像无能为力。图像没有历史记录,哈希也就没有可匹配的对象。
新分类器面对的是更难的视觉判断。它要从图像本身寻找疑似虐待的迹象,同时尽可能减少将普通内容错误送进人工审核队列的情况。对于审核团队而言,一张漏掉的图像可能意味着真实伤害继续传播,一张误报的图像则可能增加成本、拖慢响应,并让审核人员长期暴露在高度创伤性的材料中。
因此,OpenAI公布的48%并不是一个可以脱离语境理解的“模型准确率”。它描述的是一种运营效率,系统在保持相同发现量的同时减少了告警数量。被标记内容的命中概率提升至其他内容的两倍,也说明分类器的作用更接近风险排序器,而不是自动作出最终法律结论的裁判。
这一区分非常关键。儿童安全场景不能把一个分数直接等同于事实认定。分类器可以告诉审核人员“先看哪些”,却不能单独决定材料是否构成违法,也不能替代对受害者、时间线、传播关系和用户身份的调查。它是卖铲子的工具,不是整个矿场的运营者。
从技术路线看,未来更可能形成多层组合。已知材料由哈希匹配处理,新图像交给视觉分类器,文本提示、账户行为和传播关系则承担上下文判断,最终由人工审核、平台政策和执法程序完成确认。单一模型很难覆盖完整链路,组合系统才有机会接近实际治理需求。
真正的竞争,从模型拒答转向安全基础设施
过去几年,大模型安全竞争常常被简化为一个问题,模型会不会拒绝危险请求。但CSAM场景证明,这个问题远远不够。
一个模型可以拒绝直接生成某类图像,却无法阻止用户把提示拆分、换用隐晦表达,或者把已有图像带到其他工具中处理。一个平台可以拦截文字请求,却未必能识别用户上传的全新图像。一个公司可以关闭违规账户,却未必能把有效信号传递给其他平台和执法机构。
这也是OpenAI此次同时发布多项工具的原因。图像分类器解决的是“内容怎么发现”,ChatGPT警告解决的是“行为怎么打断”,开发者指南解决的是“第三方怎么接入治理”,面向执法协作的工具则对应“案件如何进入外部流程”。这些环节拼起来,才是一套基本闭环。
开发者指南的价值在于,它试图把儿童安全从大公司的内部能力,转化为开发者在接入API时需要遵守的工程规范。OpenAI的指南由Tech Coalition、Thorn、NCMEC和Internet Watch Foundation等组织提供意见,并建议开发者采用针对已知CSAM的哈希匹配技术。
这背后是一个产业现实。许多接入API的应用并不自己训练基础模型,它们通过外部服务获得图像、文本和视频生成能力。如果安全要求只停留在模型提供商内部,应用层可能成为治理盲区。开发者指南的作用,就是把“不能生成”进一步变成“如何检测、如何升级、如何报告、如何保存必要记录”。
跨平台协作也正在成为不可绕开的基础设施。Tech Coalition提到,其Lantern项目用于跨平台信号共享,帮助企业识别和升级AI生成的儿童性剥削材料。因为同一名用户的行为可能分散在多个应用里,单个平台看到的只是局部片段,只有在合规和必要的信息共享机制下,风险画像才可能完整。
当然,信息共享不是越多越好。儿童安全治理需要在保护受害者、打击犯罪和避免过度收集用户数据之间取得平衡。哪些信号可以共享,谁能访问,保存多久,如何避免误报扩散,都会成为制度和工程问题。安全基础设施的门槛,最终不只是模型能力,还有权限设计、审计机制和责任边界。
AI生成虐待材料正在把行业推向更高成本
这套基础设施之所以紧迫,是因为威胁规模已经发生变化。NCMEC表示,自2023年开始追踪生成式AI以来,已识别超过275名生成式AI CSAM受害者,超过158,000张图片和视频被归类为生成式AI CSAM。NCMEC还表示,2025年的报告中有超过400,000起剥削报告存在生成式AI关联,其中超过182,000起涉及犯罪者持有、生成或尝试生成相关材料。
这些数字不能简单理解为“AI制造了全部问题”。儿童性剥削在生成式AI出现之前就已存在,平台、执法部门和保护机构也早已建立了相应机制。但生成式AI改变了材料生产和变形的门槛,犯罪者不再只依赖真实拍摄,也可能利用公开图像、换脸工具和生成模型制造新的伤害。治理系统因而必须同时处理真实材料、合成材料和被重新编辑的材料。
更棘手的是,生成式AI让“内容是否真实”不再是唯一问题。即便图像完全由模型生成,它仍可能造成对真实儿童的性化伤害、诱导勒索和传播扩散。对平台来说,合成材料带来的风险不能仅以“是否存在真实照片”来衡量,受害者保护、身份冒用和犯罪网络传播同样需要纳入治理判断。
成本也会随之上升。审核人员需要处理更多从未见过的样本,研究团队需要持续更新检测器,法务和合规团队需要重新解释不同司法辖区下的报告义务,平台还要承担误报、漏报和信息泄露的多重风险。AI产品越接近真实世界,安全就越不像一个模型发布前的检查清单,而越像一项持续投入的运营业务。
从这个角度看,OpenAI向选定公司免费开放分类器,并不只是公益动作,也可能是在培育一种行业标准。检测工具只有被更多平台采用,跨平台信号才有机会形成可比性;使用者越多,模型和治理流程获得的反馈也越丰富。它有点像早期互联网的安全协议,单家公司独占并不能解决网络级问题,大家采用同一套基础能力,才可能降低整体风险。
免费工具不是终点,责任边界才是硬仗
OpenAI的方案仍然存在明确边界。分类器提供的是风险评分,不是最终判决;早期测试结果来自合作伙伴,不能直接外推到所有语言、地区、图像类型和产品场景;而目前公开材料也没有给出足够多的误报、漏报、分布差异和独立评估细节。
这意味着,平台不能把“接入分类器”当作完成合规的证明。真正的安全能力仍取决于系统如何配置阈值,怎样处理边缘案例,是否有经过训练的人工审核团队,是否建立了申诉和复核机制,以及在确认风险后能否及时报告和保护受害者。
用户警告机制同样需要谨慎。警告和24小时暂停可能对一部分冲动性或探索性行为形成阻断,但对有组织、重复性的恶意行为,单次处罚并不够。永久封禁、账户风险管理、必要的信号共享以及执法协作之间如何衔接,才决定了阻断能否从一次产品交互变成持续的风险控制。
还有一个商业层面的矛盾。安全系统投入越多,短期内越可能增加审核成本、延迟产品体验,甚至误伤一部分正常用户;但不投入的代价,则是受害者受到二次伤害、平台信誉受损、监管压力上升和法律责任累积。对于AI公司而言,儿童安全不再是“增长之后再补”的功能,而是产品能否进入社会基础设施的准入条件。
在笔者看来,OpenAI这次动作的最大意义,不是它发布了一个更强的分类器,而是它承认儿童安全需要一张“安全网”,而不是一堵“拒答墙”。拒答墙挡住一部分请求,安全网则要在内容生成、传播、审核、报告和执法之间持续接住风险。
AI平台的下一场比拼,是谁能把安全做成系统
未来,AI安全竞争会出现一个明显转向。模型参数、榜单分数和生成质量仍然重要,但决定平台能否长期运营的,可能是另一组指标,风险发现的召回能力、误报带来的审核负担、响应速度、跨平台协作能力、人工复核质量,以及对外部机构的可审计性。
这会改变行业的参与者结构。基础模型公司会继续提供检测器和策略模型,云厂商可能提供安全扫描与日志基础设施,专业安全公司承担哈希匹配和内容取证,公益组织与儿童保护机构提供专业标准,执法部门则需要把平台信号转化为真实案件。儿童安全将从模型公司的“内部能力”,扩展成一条由多方组成的供应链。
对开发者而言,最现实的建议不是等平台替自己解决所有问题,而是在产品设计阶段就建立风险路径。应用需要知道哪些请求必须拒绝,哪些内容需要人工复核,哪些事件需要升级,哪些数据可以保存和报告。把安全功能留到产品上线以后,往往意味着要在风险暴露之后重新施工。
对用户而言,ChatGPT新增警告的价值也不只是“多了一次弹窗”。它传递出一个信号,AI产品正在把高风险行为视为需要被中断和处置的事件,而不是普通的搜索或创作请求。随着更多应用采用类似机制,用户对隐私、申诉和账户处罚透明度的要求也会同步提升。
OpenAI还需要用更多透明信息证明这套系统确实有效,包括不同场景下的误报和漏报、独立测试结果、地区差异、开发者接入后的实际效果,以及分类器评分如何与人工判断和执法流程衔接。安全系统不能只公布最好的数字,也必须让外界看见它在哪些地方不可靠。
这场竞争没有一个可以宣布“完成”的终点。生成模型在变化,滥用方式在变化,平台边界也在变化。今天有效的规则,明天可能就会被新的工作流绕过。谁能把检测、阻断、协作和复盘做成持续迭代的系统,谁才更接近AI时代真正的安全能力。
AI不会因为一堵拒答墙就自动变安全。真正的安全,来自一张能跨越模型、平台与执法体系的网,而未来最有竞争力的AI公司,必须同时学会造模型和补漏洞。






快报