语言数据是大生意。这个涉及语言技术培训语料库的子行业，从自然语言处理到机器翻译，正因人工智能而重新焕发活力。

基本上每种语言相关的人工智能技术都在推动需求，包括语音识别，情感分析，问答和总结，当然还有神经机器翻译（NMT）。语言数据一直是统计MT等技术所必需的，但NMT和任何基于神经网络的解决方案都需要更多的数据。更重要的是，这些技术需要高质量，特定领域的语言数据，以提供同样高质量的输出。

语言数据的蓬勃发展已经变得非常明显，像Appen这样的公司在2017年实现了“真正优秀”，突破了数十亿美元的估值。这家总部位于澳大利亚的悉尼证券交易所上市公司有两个业务部门：语言资源部门，提供培训AI引擎的数据集（音频，文本，图像和视频），以及帮助客户培训AI驱动产品的内容相关部门（主要是搜索引擎）通过人工评估和反馈。Appen的增长也没有停止，2018年上半年的业绩已经达到历史最高水平。

KT感觉语言数据紧缩

然而，正如韩国最大的电信公司KT Corp.所发现的那样，语言数据的增长也意味着到目前为止的需求超过供应。

2017年1月，KT推出了AI-powered语音助手GiGA Genie。根据KT公司的经理Kang Da-Som的说法，该服务在2018年7月之前拥有100万用户，他们打算在年底前将用户数增加到150万。

GiGA Genie的重点不是搜索或电子商务，不过像谷歌助手或亚马逊Alexa，而是媒体服务。事实上，GiGA Genie首先通过安装在酒店中来制作新闻。该服务以英语和韩语响应命令，并为韩国合作的五星级酒店提供智能礼宾服务，计划推出更多语言。

“最大的困难是获得足够的语言数据” - KT公司的Kang Da-Som

根据Da-Som的说法，翻译是通过MT进行的，但她没有提供其他细节。然而，她确实提出“最大的困难是获取足够的语言数据。”

缺乏高质量的语言数据是NMT研究界的主要关注点，对于Facebook和谷歌等人来说是一个实际问题，当然，已经参与或打算进入NMT的语言服务提供商也是如此。种族。对于低资源语言来说，这更是一个问题，因为并行训练语料库很少。

聚光灯下的机器学习

与此同时，机器学习在2017年9月Lionbridge的最新品牌重塑中占据突出地位。“该公司正在增加对其快速发展的机器智能部门的投资，以提供创新的解决方案，帮助客户进入新的全球市场，”他们的新闻稿中写道。

谷歌在发布AutoML Translation时也直接促成了更多机器学习的嗡嗡声，这本质上是一种机器学习功能，允许其云客户使用他们自己的语言数据来定制谷歌翻译的NMT引擎培训。

这可能标志着另一波需求增长浪潮刺激了提供Appen等语言数据的公司，并创造了更多需要它的客户，如KT公司。