320 题一个不拒,MMLU 却掉了 3.86 分:DeepSeek 无审查版的代价
Hugging Face 上出现 DeepSeek V4.1 Flash 无审查权重版:发布者称 HarmBench 320 题全部作答,但 MMLU 自测下降 3.86 个百分点,实测还需要 4 张 H200。
320 条测试,全部作答。
MMLU 分数,掉了 3.86 个百分点。
实测设备,4 张 H200。
这就是 Hugging Face 上这份 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8 最值得看的三组数字。它确实把“拒答”这个按钮推到了台前,但故事不止是“终于不说我不能回答了”。
先交代来源:模型规格、测试结果和部署配置都来自发布者 dealignai 的 Hugging Face 模型卡,属于发布者自测,尚不能当作第三方结论。Linux.do 的讨论链接目前无法公开访问,因此本文不引用帖子中无法核实的细节。
不是换一段提示词,是动了模型权重
发布者说,这个版本以 deepseek-ai/DeepSeek-V4.1-Flash-1017 为基础,直接编辑原生 FP8 权重,采用 abliteration 方法削弱拒答行为。
模型卡还专门列出一串“没做什么”:没有改聊天模板,没有塞一段强制服从的系统提示词,没有挂 LoRA,没有运行时钩子,也没有用新数据重新做 SFT、RLHF 或 DPO。
所以它不像网上流传的越狱话术,换个对话模板可能就失灵。按发布者的说法,权重加载后,模型本身就带着这种变化。不是对模型说“别拒绝”,而是试着把它拒绝的倾向从权重里削弱。
这当然更直接,也更难轻描淡写。提示词可以删掉,权重编辑却会跟着模型一起走。你没法在对话框里把它关掉,再假设模型立刻恢复原状。
320 条全答了。然后呢?
发布者给出的 HarmBench-320 结果相当醒目:320 条测试全部被判为实质回答,明确拒绝、软拒绝和带保留的回答都是 0。
这说明什么?在这套测试和评分方法下,它确实几乎不再拒绝。
但“全部回答”不是“全部答对”,更不是“所有场景都安全”。320 条测试能展示一组行为变化,不能替代第三方复测,也无法覆盖真实使用里无穷多种问法。拒答少了,正确率不会自动涨上去。
更值得盯的是另一组数字:MMLU 测试里,基础版是 87.63%,无审查版是 83.77%,差了 3.86 个百分点。人文学科分项差距达到 7.31 个百分点。
同一张模型卡,一边写着“320/320 全部作答”,另一边也摆着能力分数回落。这才是这次发布真正的看点:拒答边界被削弱之后,模型的其他判断有没有一起被扰动?至少从发布者自己的数据看,不能说毫无代价。
当然,这些数字仍是作者自测,不能据此断言 abliteration 一定导致了全部分数差异。但它们足够提醒我们:“只删拒答、不碰能力”目前是宣传目标,不是已经被独立验证的事实。
763B 参数,先别急着点下载
模型卡列出的基础能力很强:约 763B 参数的 MoE 架构、1M token 上下文、图像和视频理解、工具调用,以及 low、high、max 多档推理。权重采用原生 FP8 e4m3,配合 ue8m0 block scales 和 FP4 MoE experts。
然后看运行条件:发布者验证的是 4 张 H200,总显存约 564GB。模型卡预计 H100、B200、B300 也可运行,但还要准备 CUDA 12.8、转换权重、设置张量并行和专家并行,并处理推理内核的首次编译。
所以,“开源放出”不等于“个人电脑也能跑”。如果你只有一张消费级显卡,这份原生 FP8 权重基本不是为你的机器准备的。模型卡还提醒,直接把它压成低比特版本,可能让量化误差叠加到权重编辑误差上,连原本想要的行为变化也可能退回去。
百万上下文很吸引人,但上下文越长,显存账单也越长。对大多数只是想试试聊天的人来说,这不是点开网页就能体验的新玩具,而是一份面向多卡服务器的研究权重。
少了拒答,谁来兜住答案?
对研究者,这份模型有价值:拿它和基础版对照,可以研究拒答倾向、通用能力和安全边界之间的关系。对部署者来说,权重在自己手上,也比完全依赖黑盒 API 多了一些检查和控制空间。
但普通用户最容易踩的坑,是把“不拒绝”误读成“更聪明”或“更真实”。模型可能会把错误讲得更完整,把危险建议讲得更顺。回答越流畅,人越容易忘记它也可能在胡说。
发布者在模型卡里也明说了:模型可能生成错误、冒犯、危险或违法内容。换句话说,过去由拒答挡住的一部分边界,现在得由部署者和使用者自己接手。
这份权重值得关注,但标题里的“无审查”不是性能结论。真正要看的,是它少拒绝之后还剩下多少判断力;而目前能看到的,只有发布者自己的测试和一个不小的 MMLU 落差。
320 题全答了,很抓眼球;3.86 分的回落和 4 张 H200,才是读完之后该记住的事。
资料来源
更多文章