相比效果显着，非常出色的老虎算法，移动端优化排序算法的效果要稍差一些。
因而孟繁岐并没有急着推动上线测试，而是等待结合ai语言解释模型的那一个更新准备一起推动。
目前针对语言问题所采用的通常是循环神经网络(rnn)和长短期记忆办法(lstm)，这两个工作都是上个世纪末的老办法了。
这两种方法简明好用，因而一直兴盛到2017年左右。
直到transformer，也就是chatgpt的t方法出现。
通常来说，大家都认为transformer方法之所以能够迅速取代rnn和lstm，主要是因为它更方便并行进行。
在多个设备上并行方便最核心的意义便是让规模庞大的版本成为可能，这也为后来chatgpt这样的究极巨无霸模型奠定了基础。
“其实老版的rnn也有办法可以把并行做得很好，领域内对这件事有很大的误解。”孟繁岐皱着眉头思索道。
原本时间线，transformer出来之后，所有人都放下了手头老方法的研究，拥抱了t方法。
可18年实际上有人专门做了rnn的高度并行，只可惜已经太迟了。
如果这个发现可以早一年的时间，可能rnn会长期作为t办法的竞争对手，我们也有可能看到chatrnn的出现。
“早期的t方法需要很多数据，各种参数比较难调整，需要的计算能力也很庞大。”孟繁岐即便根据后来成熟的许多方法做了一个改进的版本，t方法在早期仍旧比较麻烦。
“好在谷歌的数据和算力都不缺，而我也比较熟悉各种经典的参数设置。”孟繁岐先写了一个雏形版本的t方法，进行了一下测试。
“不过，受限于现在显卡的显存，模型没有办法做得很大，除非我专门再去开发deepspeed这样的高级并行方式。”
在多张卡上训练模型，可能是为了追求速度，也可能是因为一张卡上放不下了。
其中，数据并行是最简单的，也就是不同的卡都在做同样的事情，每张卡上都会存放一个模型。
只不过输入的数据不一样，不同的卡做完运算之后，再一起整合更新。
就像是所有人都拿了同样的刀切不同的菜，最后把切好的食材堆在一起。
可有的时候，一张卡上根本就放不下模型，这样的情况就比较麻烦了。因为一个人根本拿不动这把刀了，需要多人协作。
可以把每一层拆分到不同的卡上，也可以把不同层分配到不同的卡上，如此一来，其实是用多卡实现了类似单卡训练的效果。
显然，前者会比后者容易非常多，前者只需要在不同卡上复制这些模型，分别读取数据做运算就好。
而后者则需要根据不同的情况和设置拆分合并，一个不小心就会搞错。
看了下谷歌大脑的服务器，里面有好几批2013款的gtx泰坦，这东西着实价值不菲。
考虑到当时的其他产品，6g的显存还是鹤立鸡群的。
比起孟繁岐自己重金购置的4g旗舰款，多出的2g显存，足够做很多其他的事情了。
用速度换显存，孟繁岐又做了许多参数和信息在cpu和gpu上反复转移的操作。
因为在正式入职之前，谷歌大脑分配给他的显卡就已经有16张泰坦，这部分卡拨给孟繁岐独享，随时都可以使用。
除此之外，还有32张在不同节点上的gpu可以申请占用。
“这时候的谷歌显卡还没有那么多，这个配置已经相当大方了。”
不仅有统一配置的系统和环境，还有提供好的多卡并行方式和例子。
再过两年，几千张上万张tpu都是标配。
孟繁岐如果想要将ai接入搜索系统，有三个主要的方向。
一是通过拆分关键词，通过语言模型来获取其在现实世界的含义，从而对结果进行更好的排名。
二是通过扩大模型的规模，使得它具备一定的宽泛理解能力，从而扩大能够搜索的内容量。
三则是让搜索引擎更能够理解不同语言顺序会如何改变查询的意图。
其中二目前比较难办，一和三孟繁岐的把握很大。
传统的rnn和lstm的循环方式，就导致了在较长语句上比较难处理得当，对顺序的变化理解也没有那么充分。
孟繁岐的雏形t方法，在这方面具有得天独厚的优势。
除此之外，t方法虽然在小数据上难以学到东西，各个参数也很难微调，总体的训练难度大。
但这在孟繁岐这个老炼丹师面前，不是什么难事，配合谷歌早已备好的海量数据，孟繁岐对这个方法的效果还是很有信心的。
而将显卡资源都投入训练之后，在13年的圣诞节前夕，孟繁岐结束了在谷歌尚海大约十天的工作旅程。
模型的训练需要一定的时间，广告算法后续两板斧可能过两周，元旦之后了。
本小章还未完，请点击下一页继续阅读后面精彩内容！