2014年四月五月的这段时间,孟繁岐找到了久违的,专心学习、专心研究的感觉。
没有记者,没有采访,也没有和其他无关人员的会面,整个生活的节奏沉淀了下来。
诸多应酬一概推掉,这个月孟繁岐就只做一件事,把T方法和相关应用做好。
每天就是在谷歌大脑这里,与各路技术天才讨论和交流T方法相关的内容,与各个其他部门的同事交流他们的使用情况。
在不同类型的序列任务上,需要做什么修改,有什么技巧和问题等等。
有关这篇论文应当如何写作如何规划,大家也都给孟繁岐提供了相当的帮助。群策群力,孟繁岐能感觉到这篇文章的写作水平肯定远胜自己之前的那些成果。
“我还是第一次写这种涉及、涵盖了如此之多应用方向的文章。”
孟繁岐想要改变原本论文仅关注翻译问题的弊端,囊括绝大多数技术方向进来。
这一点可以说是野心甚大。不过想法虽好,内容与方向复杂起来之后,整体的节奏和结构着实很难把握。
中午吃饭的时候,孟繁岐与最先认识的辛顿师徒三人在餐厅闲聊着。
“要不是看在你之前的技术成就上,想要调动这么多人参与进来打白工,可不是那么容易的。”
伊利亚和阿里克斯经历了从学校到公司的转变,感触颇深。
学校里找同学帮助,找教授指导,都更加纯粹一点,开口就好。
可在公司当中,就很可能会涉及利益问题。出了成果,大家怎么分?出了问题,大家责任怎么担?
你有没有权利直接指挥其他某个部门的成员?这里面的门道实在太多了。
阿里克斯和伊利亚两人比孟繁岐来得要早接近一年,在他们的经历当中,算法技术人员还是小兵团作战为主,像这次这么大的动静还是蛮少见的。
孟繁岐这一次测试T方法,就像是李云龙攻打平安县城,牵一发而动全身,各路人马都闻讯而来,帮帮场子。
“最开始谷歌大脑内部就有十个人左右,现在逐渐辐射到语音,语言翻译,文本分类,序列标注,关系判断乃至小型的问答。”
“各个方向的人都拿了你的算法模型去帮你做实验,加起来得涉及六七十人起步了。”
辛顿笑着调侃道:“就是我这个谷歌大脑主管,也没有见识过这等阵势啊!”
“哈哈哈,辛顿老师说笑了。”孟繁岐这个月来,在论文上获得辛顿的指点甚多,叫这位AI老教父一声老师,绝对合情合理。
“这不是英伟达给的那一批显卡到了,得让硬件资源动起来吗?要是显卡都闲着,怎么像话。”
“给他一个语音任务,他就敢颠覆整个序列问题领域,我是真不敢想他以后还会做出什么。”阿里克斯原本有些萌生了退意,但孟繁岐的出现给了他不少新鲜的感觉。
人工智能发展的速度太快了,他作为这个时代的开启者,怎么能早早就归隐山林呢?
“我们还是被硬件设备所限制了,英伟达的那批泰坦上线之后,我们的任务快了好几倍,有的任务甚至是几十倍上百倍的速度。以前一个月做不完的一大堆任务,现在一周之内绰绰有余。”
伊利亚一点也没有夸张,他和阿里克斯当年做AlexNet的时候,由于显卡显存太小放不下,阿里克斯被迫单独做了针对性的分组封装,为了使得模型可以在两张显卡上运行,工作量相当之大。
如今在泰坦Z上,就完全不需要再做这么复杂的准备工作,直接放进去就可以运行了。
在这件事情上,孟繁岐的功劳还是很大的。是他私下里和黄仁勋达成了协议,替谷歌大脑要走了第一批泰坦Z显卡。
速度方面,孟繁岐去年中几万组装的电脑,为了跑完千分类那上千万的图片数据,得到一次模型就要好几周的时间。
“由于那次竞赛是我规划中一鸣惊人的最重要成绩,我接近一个月都没怎么睡好,生怕电脑出了什么问题。”
孟繁岐回忆起那段时光,自己搞得那么紧张整天扑在代码上面,其实还是设备不够好,完全没有容错率。如果出错一两次,就没有时间提交足够好的结果了。
现在好了,都不需要用很多,四张或者八张显卡一起运行,一两天的时间完全足够了。
“之后显卡和多机多卡更加成熟的时候,这个速度还要更不得了。”
硬件设备升级之后,许多人都在研究如何让多张显卡运算得更快。
到20年左右,128张显卡再来做这个千分类的数据集,训练时间甚至可以缩短到十几分钟乃至几分钟。
这就是三千多倍的速度差距啊...
“技术和高级智能被大型科技企业垄断,也是有原因的,三千多倍的速度差距,就意味着别人一天得到的模型,你要十年才能算完。人家做一周的实验,你一辈子都得不出这些结果。”
如此高倍率的算力差距,就使得后来一两张普通显卡就想着出成果的大学教授们有些滑稽。
这章没有结束,请点击下一页继续阅读!