揭示苹果iPhone里的Transformer 基于GPT-2架构打造

果粉揭示了Apple Transformer's "隐藏的技能"。

大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。

比如，在今年的WWDC上，苹果就已宣布，全新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。

先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。

主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。

Jack Cook小哥具体测试了一下，实验发现这个搜索引擎的功能已经不是主要实现的搜索引擎是针对单个单词的阅读量的预测。

原因是：

1、unilm.bundle中的许多文件在macOS Ventura（13.5）里并不存在，仅出现在了新版本macOS Sonoma beta（14.0）里。

2、unilm.bundle中存在一个sp.dat文件，这在Ventura和Sonoma beta里都能找到，但Sonoma beta的版本中更新了明显像是分词器的一组token。

3、sp.dat中token的数量跟unilm.bundle中的两个文件——unilm_joint_cpu.espresso.shape和unilm_joint_ane.espresso.shape能匹配得上。这两个文件描述了Espresso/CoreML模型中各层的形状。

根据内层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。不过，这个小哥也提到，虽然gpt-2的隐藏层很小，但它仍然可以用于测试，因为它是一个非常好的工具。

（编辑：银川站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!