呱呱小说

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

a1exnet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。……

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而Resnet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让5o,1oo,15o,甚至1ooo层网络的训练成为可能。

“从去年的8,到今年的1oo+层,甚至1ooo层也可以训练。在2o13年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,Resnet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的Resnet,平均他们的输出再去预测的话,其Top-5错误率甚至低至3.7%。

“其实在ImageneT上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

Resnet的Res指residua1,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),Resnet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有aI文章,都很难绕得开这个思路。kaiming本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是naturenetce三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就aI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

kaiming凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“Resnet的思想早就有人提过了”,“几十年前的东西不算什么东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得时代的aI,ta1kischeap,shomethecode。你说几十年前就有的东西,怎么不写一个Resnet突破人类水准呢?

Resnet的核心代码难写吗?不难的。

基于a1ex的框架,只需几个小时的时间,他就可以基本复现出Resnet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

本章完

热门小说推荐
柯南世界里的白日梦想家

柯南世界里的白日梦想家

羽贺真佑穿越到了江户川柯南的世界慈眉善目的上帝老爷子特意赋予他在大脑放空做白日梦时,灵魂附身至他人身上的小馈赠从此开始了年复一年日复一日的呆附身,无数次经历杀人与被杀的日常生活你问这样会不会疯掉?多次自杀却没死掉的他微笑回答,他很正常哦!直到从宫野志保身上找回那份温暖为了守护他的阳光,他还是决定活下来扳手?手枪?在危险的米花町还是得时刻备着火箭炮呐!本书又名与灰原大小姐生活的幸福日常柯南世界里的银他妈论不作好海6空武器对策就不能出门的防身手册琴酒的美梦之赤井秀一怎么这么多女主灰原哀戏份多且甜,不拆cp人设贴原著柯南为主,银魂参与主线,鲁邦三世客串欢迎各位加群566865435各位书友要是觉得柯南世界里的白日梦想家还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...

长生不死,我以气运修仙

长生不死,我以气运修仙

简介关于长生不死,我以气运修仙别人修仙,那是神功妙法,天地奇珍,历经万劫,与世争锋,最终得到长生道果。我修仙,还只是个凡人,就已经长生不死。这原本是个好事。但是,为什么我穿越后,是一个无户口无身份甚至连个房子都没有的猎户啊?6渊看着四面漏风的住处洞窟,不得不开始思考起,明天是去林里射只野鸡呢?还是去草里撵只兔子。就这样,新人长生者思考起了生存问题。...

四合院:别惹我,我只想当闲鱼

四合院:别惹我,我只想当闲鱼

李卫东带着游戏农场回到那个物资匮乏的年代不需要为填饱肚子而奔波的他只想当一条闲鱼。奈何家里两个男人全都看他不顺眼。隔壁俏寡妇一心想把妹子嫁给他。看沧海横流还是庭前花开?李卫东只想慢慢的从一条闲鱼开始品味这里的处处风情。...

神话战场:我为龙国接引众神

神话战场:我为龙国接引众神

龙国没有神明?苏幕遮带着满脑子的神话故事和神明来了!龙国人无法修行斗气和魔法?苏幕遮的神话告诉你们龙国人从来都不修那些玩意儿!龙国没有神话血脉?不好意思,我们向来都不靠所谓的神话血脉!我们的一切都要靠自己亲手搏来!神话战场我为龙国接引众神...

我的夫君实在太妖孽了

我的夫君实在太妖孽了

王资,穿越者,有一个老婆越强我越强系统!别人变强需要辛苦修炼,而他只需要娶老婆!躺着升级!开局天才美少女未婚妻慕容冰,要退婚!王资跟她打赌,让她先嫁给他,若有一天,她能打赢王资,就放她自由。后来。慕容冰不!!!为什么我这么努力修炼,而王资每天睡到日上三竿,吃喝玩乐!我却还是一直打不过他?我的夫君实在是太妖孽了!王资露出资本家的微笑呵呵,其实,你不过是我升级工厂的打工仔而已。...

为夫体弱多病

为夫体弱多病

每晚91o点日更,下本开微臣诚惶诚恐谢谢大家  容棠看过一本书。  书里的反派宿怀璟是天之骄子,美强惨的典型代表,复仇升级流高智商反派人设,可惜人物崩坏,不得善终。  结果一朝穿越,容棠成了文中同名同姓早死的病秧子炮灰,还绑定了一个拯救男主系统,一共重生了三次。  第一次,他死心塌地地跟在男主身边,帮他躲过各种炮灰跟反派的暗算,结果被人下毒害死,任务失败  第二次,他双线并行,一边辅佐男主,一边接触反派,结果被男主一剑捅死,任务失败  第三次重生,容棠想,去他妈的男主,老子不救了。  于是大反派宿怀璟被人下了药绑起来的那一夜,容棠撑着快要咳出肺痨的身子,闯进青楼房间,替他解了药效,认真问你要不要嫁给我  宿怀璟    容棠沉疴难医,陪了宿怀璟一路,隔三差五在他耳边念叨你放心,等我死了,遗产全是你的。  直到大局已定,宿怀璟登基前夕,任务奇迹般宣告完成。  容棠惊喜之余,为保全帝王名声,毫无心理负担地死遁跑路。  结果还没出京城,天子近卫悉数压上,猎鹰盘旋空中,狼犬口流涎液,百官分跪两侧,容棠身下那只半路买的小毛驴吓得直打喷嚏。天子身穿明黄冕袍,一步一笑地从人群后走来,望向他温柔问夫君,你要抛妻弃子始乱终弃  容棠  你能生  啊不是你一个在上面的这么代入妻子角色合适吗  帝王走到他面前,仰头抬手,笑道跟我回去,这天下分你一半。    小剧场  某年某月某日,容棠吃完晚膳躺在院子里乘凉,照例跟宿怀璟规划以后。  我大概只能活两年了,到时候你记得把陇西庄子收回来  宿怀璟面无表情地往他嘴里灌了一碗苦药。  再某年某月某日,容棠看完话本窝在火盆前取暖,认真地跟宿怀璟告别。  我应该没两月好活了,城西那间宅子你若是嫌小,城南我还替你买了一座  宿怀璟咬牙切齿地喂他吃了三颗拳头大的药丸。  又某年某月某日,御花园里荷花开的正好,容棠坐在桥边吃荷花酥。  我可能明天就要死了,你记得把我埋  宿怀璟忍无可忍,俯身堵住了他嘴。  片刻之后,喜怒不形于色的帝王缓缓后退,看向他的君后我是不是没告诉过你,我是大虞最好的大夫  你如果再说这话,我就当你医闹了。  这天下你我共享,这山河你我同枕。阅读指南1攻受身心1v1,he2本质甜文,可能看文会现作者没什么脑子跟逻辑3文中的所有认不出来无特殊说明统一默认为换脸,不要纠结为什么见面不识了4去留随意,弃文莫告知5祝大家生活愉快早日暴富预收文微臣诚惶诚恐一个老婆失忆之后重新开始谈恋爱的小甜饼  皇帝与丞相隐婚的第七年,南方突遭暴雨,河水决堤,百姓苦不堪言。  权相黎岫自请南下治水,历时三月,终于巡视完河口村庄,修好千堵围堤,回京的马车上,黎岫看着木箱子里装着的上百封书信,一阵头疼。  糟糕,光顾着治水,忘了看老攻情书了  黎岫估摸着路程,日夜兼程地拆阅天子八百里加急送来的书信,一封封提笔回复。  终于,书信见了底,车队回了京,相爷一抬头,眼下乌青,径直昏了过去。  独守空房三个月的皇帝还没来得及好好看一看老婆,就见人晕倒在了护卫怀里,恨的牙痒痒。  很好。  不回信不照顾好身体现在还敢当着他的面让别的男人抱了,到底有没有把他这个皇帝放在眼里  天子走下步辇,当着百官的面从护卫手里抢走丞相,亲自抱回寝殿,朝野震惊。  第二天,操劳过度的丞相悠悠转醒,看见一片明黄,有人阴沉沉着目光盯着他,吓得他一抖,抱着被子就往床角滚你是谁  天子  反了天了他还没算账,老婆就不要他了  才出去三个月就变心了吗这天下哪有比他还好的男人  天子怒气冲冲地盯着自家丞相半天,猛地一甩衣袖出门,吩咐暗卫给朕查丞相此行都见过哪些人,说过哪些话,连只公兔子都别放过  他倒要看看谁敢跟他抢人    黎岫最近有点惆怅。  他一个幼稚大学生穿越到古代,成了聪明绝顶不得不熬夜恶补知识狂卷才不崩人设的权相就算了,这个国家皇帝脑子好像还有点病。  上朝盯着他不放,下朝就得去勤政殿议事,好不容易天色将晚他终于能回府了,皇帝跟个被遗弃的大狗狗一样可怜巴巴地看着他,惹得黎岫每次出宫前都得在他头上摸两把,时刻担心自己迟早有一天会被皇帝宰了,简直诚惶诚恐。  直到又一次群臣上柬,请求皇帝选秀之后,帝王勃然大怒,步下金銮,赶走所有大臣侍卫,站在黎岫面前,声音又哑又委屈你要我选秀  黎岫被帝王威仪吓得要死,道陛下该为皇嗣考虑。  皇帝气疯了可你又不能生  黎岫  皇帝你是我老婆,要皇嗣你自己生去  黎岫沉默一个世纪那么长,摇头我不信。  皇帝是真的  黎岫证据呢  皇帝掏出了两缕绑着红绳的青丝一只酒壶两只酒杯三大箱保存完好的书信,跟起居郎编撰的起居注  皇帝如数家珍这是我们成亲时结的,这是洞房夜喝合卺酒用到的酒壶跟杯子,这是起居注,你自己看看,除了你赶我去上书房的时候,我们俩哪晚没睡在一起  皇帝哀怨异常,痛声控诉你还让我选秀你没有心。  黎岫  糟糕,好像是真的,那真的是他的字...

每日热搜小说推荐