ARTICLE / DEEP READING

新闻中心

关注比赛现场,也关注数据、策略和行业变化背后的长期价值。

大发娱乐 - 官方娱乐平台,畅享游戏乐趣 新闻中心 研究者称DeepSeek等模型用被禁英伟达芯片训练
研究者称DeepSeek等模型用被禁英伟达芯片训练文章视觉图片
READ
IN DEPTH

FEATURED ARTICLE

研究者称DeepSeek等模型用被禁英伟达芯片训练

本篇体育资讯由大发娱乐整理:

美国对英伟达、AMD高端AI加速芯片的对华出口管制,最近又起了几道波折。

抛开黄仁勋那边的纷扰不谈,业内一个公开的秘密是:英伟达的Blackwell芯片总能以某种方式进入中国,无论是实体的还是虚拟的。

独立研究机构UnemploymentLabs给出了有力证据,称这些芯片被用于训练中国的开放权重模型,包括DeepSeek V4、Kimi K3.

1、MiniMax-M3和Ling-3.

1-Flash。

研究者对结论保持了谨慎措辞:数学推导站得住脚,但它并不能揭示芯片位于何处、通过何种方式被访问,也无法证明出口管制被违反。

就目前公开信息看,中国企业在境外租用Blackwell硬件并不违法;

即便英伟达的口子越收越紧,美国公司也未被严格禁止这样做,腾讯与甲骨文近期的交易就是一例。

这套识别方法只适用于开放权重的模型,且依赖训练所用的硬件与软件栈组合。

方法本身既巧妙又简单,堪称哥伦布竖鸡蛋。

先立几个基本事实。

第一,不同AI加速器家族的着色器模块(SM)数量各不相同,大致可类比CPU核心:英伟达Hopper芯片有132个,Blackwell B系列有148个,Blackwell GB系列则是152个。

第二,训练AI模型的软件栈不止一种,但在英伟达硬件上,PyTorch及其CUDA生态相关工具是绝对主流。

训练模型的第一步是初始化权重,也就是模型对每个输入赋予多大权重。

about image

在现代大语言模型架构中,初始化要经过随机化步骤,用cuRAND把数值做正负伪随机调整——随机,但给定一个种子起始值,每次得到的调整数值完全相同。

对整个模型做这件事计算量很大,因此过程会分摊到所有SM上,再细分为线程。

对于大规模权重集,Blackwell和Hopper芯片每个SM的线程数是2048,这个数字显然是经过精心选择和优化的。

研究者用相同的芯片、软件和线程数复现了初始化过程。

经过相对简单的统计分析,他们发现最终权重值的统计分布与DeepSeek、Kimi等模型精确吻合。

作为对照,他们改动SM数量和线程数,相关性如预期般彻底瓦解。

由此,他们能辨认出每个模型使用了哪一族Blackwell/Hopper芯片,并进一步估算出所用显卡的大致数量。

但具体是哪一款变体产出了这些权重,他们无法锁定——因为分析只与初始化布局数量挂钩,也就是SM数量和使用模式,而不涉及显存容量、内存带宽等区分单卡的其他特征。

那AMD的MI300X,或者其他SM数量足够高、跑同一套软件栈的芯片呢?

研究者表示,把AMD卡配置成呈现为两组152或148个着色器并非不可能,尽管看不出有什么理由这么做。

针对DeepSeek V4,他们还通过分析权重值本身排除了这种可能,发现AMD卡依然无法产生相同的权重值模式。

特别

更多体坛动态,关注大发娱乐。

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

TRENDING STORIES

热点新闻

美国华裔部长骆家辉,在任时经常打压华为,退休后回到中国捞金

美国华裔部长骆家辉,在任时经常打压华为,退休后回到中国捞金

一个在美国出生的华裔,怎么会在当上部长后,反复对自己祖籍国的企业下手?卸了任转头又跑回中国做生意,这中间到底图的是什么? 骆家辉这个名字,国内老一辈人并不陌生。1950年他出生在西雅图一处退伍军人公寓,一家七口挤在两居室里,祖籍广东台山。 耶鲁政治学本科,波士顿大学法律,1982年进入华盛顿州议会,1996年选上州长,是美国历史上第一位华裔州长。当州长那几年,他的施政重点放在教育和治安上,州内教师

终于赢了,国足2比0击败“马来西亚二队”,但上下半时表现判若两队让人不满

终于赢了,国足2比0击败“马来西亚二队”,但上下半时表现判若两队让人不满

由邵佳一执教的中国男足终于结束了此前三连败的尴尬纪录。在11月14日晚举行的肇庆国际足球邀请赛上,中国男足在15008名球迷的助威声中以2比0击败马来西亚队。虽然胜利对于国足非常解渴,但球队在上下半时的表现判若两队,很难让舆论感到满意。此外,另一个必须直面的现实是这支马来西亚队并没有招入全部主力,至多称之为“马来西亚二队”。 王钰栋的头球破门非常漂亮 第10分钟,当王钰栋接林良铭的右路传中高高跃起

刚刚传来消息,全员降薪至3000元/月!

刚刚传来消息,全员降薪至3000元/月!

风萧萧兮薪俸寒,一纸通知人心散! 我,老林,常州市市政工程设计研究院的结构设计师,91年院成立那年我还没出生,一晃自己在这院里熬了快十六个年头,从刚毕业的绘图员熬到带项目的主创,从没设想过有一天,全院会被一张三千块的降薪通知,逼到同仇敌忾。 十月里一个普通的周一早上,我攥着热豆浆刚进办公楼大厅,就看见公告栏前围了里三层外三层,有人骂骂咧咧,有人拿着手机拍照。 挤进去的瞬间,我手里的豆浆差点洒出来—

莫迪还没乘上专机,先教上中国做事了,南海问题印度也要插上一脚

莫迪还没乘上专机,先教上中国做事了,南海问题印度也要插上一脚

莫迪16日要飞马尼拉,出席东盟-印度峰会和东亚峰会。今年菲律宾轮值东盟主席国,莫迪去开会,挑不出毛病。可偏偏在出发前三天,印度外交部先放了话:中国和东盟正在谈的南海行为准则,必须符合联合国海洋法公约,还得尊重没坐上谈判桌的国家的权利。 印度手里的牌,比嗓门小得多 先看印度实打实拿出来的东西。第一样是布拉莫斯导弹。2022年菲律宾花3.75亿美元买了三套这款岸基反舰导弹,成了第一个外国买家,据报道三

弃城跑路?哈兰德回应传闻:还有长约在身

弃城跑路?哈兰德回应传闻:还有长约在身

曼城的财政官司悬而未决,不少球迷都在猜,如果最后重罚落地,哈兰德会不会选择离开。面对这个所有人都关心的问题,哈兰德给出了很明确的答复。 去年9月英超裁定,曼城在2009到2018年间上百次违反财政规则,俱乐部已经提起上诉。最终如果维持原判,会有什么样的惩罚,至今没有公布。 刚刚代表挪威在欧国联3比1击败威尔士,赛后哈兰德被记者追问这件事。大家都等着从他嘴里挖出大新闻,毕竟他手握曼城那份吓人的9年半