.:. 草榴社区 » 技术讨论区 » 如何简单理解人工智能的蒸馏技术
--> 本页主题: 如何简单理解人工智能的蒸馏技术 字体大小 宽屏显示 只看楼主 最新点评 热门评论 时间顺序
体彩排列五


级别:侠客 ( 9 )
发帖:174
威望:103 点
金钱:3460 USD
贡献:0 点
註册:2025-01-02


如何简单理解人工智能的蒸馏技术



人工智能的蒸馏技术有点儿不太好理解,一个网友一句话说透了,就是别人在江边钓鱼,你在他的鱼桶里钓鱼,这就是蒸馏技术。举一个例子,如果你开发了一个穿着chatGPT外套的人工智能AI,当张三问你问题的时候。你就把问题转给g p t chat, 然后再把g p t chat的答案再发给张三,这样子你仅仅做一个转发,所需的资源当然就少,当然时间需要多一点点。那为啥张三不直接用chatGPT提问呢?因为张三无权直接访问chatGPT的网站。各位网友,你明白了吗?

Deepseek会不会是下一个龙芯事件呢?












赞(42)
DMCA / ABUSE REPORT | TOP Posted: 02-05 12:48 楼主 引用 | 发表评论
梁家河学霸


级别:骑士 ( 10 )
发帖:773
威望:355 点
金钱:21755 USD
贡献:1959 点
註册:2024-04-16


是不是龙芯咱先别论,你这个蒸馏技术的理解实在是太扯了
TOP Posted: 02-05 13:05 #1楼 引用 | 点评
颜回


级别:新手上路 ( 8 )
发帖:50
威望:6 点
金钱:771 USD
贡献:0 点
註册:2025-02-01

感谢分享
TOP Posted: 02-05 15:34 #2楼 引用 | 点评
胜英


级别:新手上路 ( 8 )
发帖:360
威望:47 点
金钱:8710 USD
贡献:0 点
註册:2025-01-01

感谢分享
TOP Posted: 02-05 15:34 #3楼 引用 | 点评
黑娃娃


级别:新手上路 ( 8 )
发帖:251
威望:26 点
金钱:797 USD
贡献:0 点
註册:2025-01-08

龙芯还可以呀。
TOP Posted: 02-05 12:53 #1楼 引用 | 点评
四星彩


级别:骑士 ( 10 )
发帖:2365
威望:299 点
金钱:1694 USD
贡献:9817 点
註册:2021-06-14

引用
引用第1楼黑娃娃于2025-02-05 12:53发表的 :
龙芯还可以呀。

他说的应该是 “汉芯” 事件,相关介绍如下1:
事件主角
陈进:1968 年出生,福建人,本科毕业于同济大学,后在美国德州大学奥斯汀分校读计算机工程专业博士。2001 年从摩托罗拉辞职回国,加入上海交通大学,负责 “汉芯” 项目。
事件经过
“汉芯一号” 发布:2003 年 2 月 26 日,陈进团队的 “汉芯 1 号” 正式发布。发布会上,鉴定专家组一致认可 “汉芯 1 号” 及其相关设计和应用开发平台属于国内首创,达到国际先进水平。陈进也因此成为上海交大特聘长江学者、微电子学院院长,还担任了上海交大汉芯科技有限公司总裁等诸多职务。
举报与真相揭露:2006 年 1 月 17 日,一位自称是陈进 “汉芯一号” 研制小组的成员在清华大学 BBS 上发布了帖子《汉芯黑幕》,指责陈进在汉芯研制过程中弄虚作假。原来,陈进先是托摩托罗拉的前同事私自下载了 motodsp56800e 的源代码并制造出 edsp21600,但该芯片有重大功能缺陷,无法进行系统应用和展示。于是,陈进通过在美国的弟弟购买了 10 枚摩托罗拉 dsp56800 系列芯片,找农民工用砂纸把芯片表面的 moto 字样打磨掉,再印上 “汉芯一号” 的字样和汉芯 logo,用于新闻发布会展示和 “汉芯 mp3 播放器” 演示。
事件影响
对科研资源的浪费:陈进依靠 “汉芯一号” 成功申报了国家各部门的 40 多个项目,申请了 12 项国家专利,账目有据可查的骗取金额总计超过一亿元,还有说法称上海交大及各相关方在汉芯项目上损失高达 11 亿。
对中国芯片产业的打击:“汉芯” 事件严重挫伤了中国发展自研芯片的积极性,使真正从事芯片开发的国产排头兵一度得不到充分的研发资金支持,还让民众对中国自主研发芯片的能力产生了信任危机。
对学术环境的破坏:该事件破坏了学术诚信和科研环境,引发了人们对科研项目评审机制、学术道德等方面的深刻反思。
处理结果
陈进被撤销了在上海交通大学的所有职务,科研经费被收回,但没有受到刑事处罚。


点评

    TOP Posted: 02-05 13:05 #2楼 引用 | 点评
    八股文人二


    级别:新手上路 ( 8 )
    发帖:594
    威望:80 点
    金钱:1299 USD
    贡献:0 点
    註册:2024-10-28

    感谢分享
    TOP Posted: 02-05 13:13 #4楼 引用 | 点评
    醉纱心


    级别:精灵王 ( 12 )
    发帖:10383
    威望:1887 点
    金钱:891402 USD
    贡献:4000 点
    註册:2020-02-08

    感谢分享
    TOP Posted: 02-05 13:15 #5楼 引用 | 点评
    追逐幸福


    级别:侠客 ( 9 )
    发帖:1249
    威望:125 点
    金钱:1921 USD
    贡献:0 点
    註册:2022-01-30

    就这也好意思发出来,技术肯定是一点不懂,然后人云亦云,还觉得自己说的特别对。然后,你说龙芯,你是认真的吗?
    TOP Posted: 02-05 13:18 #6楼 引用 | 点评
    dubaiyu


    级别:圣骑士 ( 11 )
    发帖:6199
    威望:611 点
    金钱:820773 USD
    贡献:1100 点
    註册:2016-07-28

    1024
    TOP Posted: 02-05 13:21 #7楼 引用 | 点评
    tanchen111


    级别:侠客 ( 9 )
    发帖:169
    威望:117 点
    金钱:442 USD
    贡献:0 点
    註册:2012-01-11

    蠢货,都开源了
    TOP Posted: 02-05 13:31 #8楼 引用 | 点评
    跟我读啊


    级别:骑士 ( 10 )
    发帖:2853
    威望:316 点
    金钱:2097 USD
    贡献:600 点
    註册:2018-11-22


    感谢分享
    TOP Posted: 02-05 13:34 #9楼 引用 | 点评
    shineyg


    级别:圣骑士 ( 11 )
    发帖:7062
    威望:842 点
    金钱:23218 USD
    贡献:168 点
    註册:2021-06-08

    感谢分享
    TOP Posted: 02-05 13:38 #10楼 引用 | 点评
    遇见就不错过


    级别:精灵王 ( 12 )
    发帖:28342
    威望:2821 点
    金钱:196901388 USD
    贡献:0 点
    註册:2015-04-01

      感谢分享
    TOP Posted: 02-05 14:08 #11楼 引用 | 点评
    四星彩


    级别:骑士 ( 10 )
    发帖:2365
    威望:299 点
    金钱:1694 USD
    贡献:9817 点
    註册:2021-06-14

    ID“追逐幸福”、“ tanchen111”这些就是草榴社区的垃圾了,不发主题贴,别人发了出来就不断的冒泡出来,典型的太监。
    TOP Posted: 02-05 14:16 #12楼 引用 | 点评
    茅家老道


    级别:圣骑士 ( 11 )
    发帖:2154
    威望:709 点
    金钱:32260 USD
    贡献:300 点
    註册:2024-03-18

    感谢分享,中国人擅长借鉴
    TOP Posted: 02-05 14:42 #13楼 引用 | 点评
    yang7121


    级别:侠客 ( 9 )
    发帖:1650
    威望:227 点
    金钱:885 USD
    贡献:304 点
    註册:2022-11-16

    感谢分享
    TOP Posted: 02-05 15:02 #14楼 引用 | 点评
    体彩排列五 [楼主]


    级别:侠客 ( 9 )
    发帖:174
    威望:103 点
    金钱:3460 USD
    贡献:0 点
    註册:2025-01-02


    引用
    引用第13楼茅家老道于2025-02-05 14:42发表的 :
    感谢分享,中国人擅长借鉴

    对的。现在不只是deepseek一家AI已经超越了chatgpt另外两家中国的AI公司也超了
    TOP Posted: 02-05 15:07 #15楼 引用 | 点评
    小开来也


    级别:精灵王 ( 12 )
    发帖:10429
    威望:1128 点
    金钱:16046 USD
    贡献:0 点
    註册:2018-09-18

    感谢分享
    TOP Posted: 02-05 15:08 #16楼 引用 | 点评
    风寒爱存不存


    级别:圣骑士 ( 11 )
    发帖:9764
    威望:977 点
    金钱:29126 USD
    贡献:307 点
    註册:2022-10-30

    感谢分享
    TOP Posted: 02-05 15:10 #17楼 引用 | 点评
    叽叽歪的耗子


    级别:新手上路 ( 8 )
    发帖:189
    威望:19 点
    金钱:424 USD
    贡献:0 点
    註册:2025-01-06

    蒸馏和钓鱼,笑死我了
    TOP Posted: 02-05 15:37 #20楼 引用 | 点评
    庆阳海若


    级别:精灵王 ( 12 )
    发帖:4778
    威望:4149 点
    金钱:7419 USD
    贡献:18000 点
    註册:2022-01-24

    感谢分享
    TOP Posted: 02-05 15:43 #21楼 引用 | 点评
    秦亦书


    级别:圣骑士 ( 11 )
    发帖:6034
    威望:676 点
    金钱:916 USD
    贡献:1472 点
    註册:2020-01-24

    静观其变
    TOP Posted: 02-05 15:46 #22楼 引用 | 点评
    柠檬汁阴


    级别:新手上路 ( 8 )
    发帖:213
    威望:34 点
    金钱:1249 USD
    贡献:0 点
    註册:2024-12-31


    知识蒸馏是一种模型压缩和加速推理的重要方法,通过让小模型(学生)学习大模型(教师)的知识,在保持性能的同时,降低计算资源需求。它已广泛应用于NLP、计算机视觉、自动驾驶等领域,并在大模型优化方面发挥重要作用。关键点在于数据来源是否合规,是否获得了大模型的授权。后期发展,还是要独立研发。
    TOP Posted: 02-05 15:57 #23楼 引用 | 点评
    这是个问题啊


    级别:风云使者 ( 13 )
    发帖:47983
    威望:4854 点
    金钱:328 USD
    贡献:68733 点
    註册:2021-01-01

    发帖辛苦
    TOP Posted: 02-05 16:28 #24楼 引用 | 点评

    .:. 草榴社区 -> 技术讨论区

    快速回帖 顶端
    内容
    HTML 代码不可用

    使用签名
    Wind Code自动转换

    按 Ctrl+Enter 直接提交