得益于周二的Facebook开源项目更新,开发人员有一个新工具来帮助移动应用程序了解文本。社交网络公司的AI研究小组发布了新版本的fastText,旨在使开发人员更容易部署以文本为中心的机器学习系统的编程库。
用一个技术研究人员正在调用fastText.zip,开发人员可以压实语言识别模型,以便占用两个数量级的记忆少,同时保持他们从非压制模型中获得的许多准确性。此举使这些模型可以部署在智能手机和Raspberry PI等功能较低的设备上,从而使它们对更广泛的应用程序更有用。
此外,Facebook发布了一对旨在帮助开发人员开始使用FastText的教程。该团队还发布了一组近300套预训练的语言集,以进一步简化问题。
FastText背后的目标是使具有光背景的人在编程中更容易进行文本分类(将单词块分配到一组类别的过程中)和文本表示(将非结构化文本转换为数字的过程计算)。
Facebook研究科学家Armand Joulin说:“这就是图书馆背后的想法 - 使其成为任何与文本相关的机器学习问题的非常访问的图书馆。”
让FastText与众不同的是,在Facebook上建立IT的团队专注于采用现有技术并使他们更容易被日常开发人员访问,因此对于没有数据科学博士学位的人来说,在其应用程序中实现机器学习更加容易。
例如,FastText可用于为诸如主题自动完成之类的功能供电,以便用户可以更快地将相关标签插入社交媒体帖子中。它还可以帮助进行情感分析,以便应用程序可以了解用户是说正面还是负面的话。
Facebook博士后研究员Edouard Grave表示,FastText也专门为处理多种语言而设计。他特别说,它可以处理像德语和法语这样的语言,这可能会给其他系统带来问题。