当你查看结果时,它看起来就像是现实世界的知识。它中会传达情感的术语的名称(例如 Kind bars)。如果它已经看到了足够多的以特定方式使用语言的例子,它甚至能够看清双重否定或偶尔的讽刺,尽管这更难,因为它并不总是具备所需的额外现实世界知识。
话虽如此,如果你在 Twitter 上花点时间,你可能会得出这样的结论:人类本身并不完全擅长检测讽刺!
这种新模式是多语言的。它是如何运作的?
预训练已使用 104 种语言的大量数据完成。我们的第一步是采用预训练模型,并为其提供更多来自社交媒体的文本示例。这一步是必要的,以提高其模拟社交媒体上出现的语言模式的能力,与标准新闻或正式语境相比。
然后我们进行了监督步骤,我们为其提供了情绪数据,并将 电子邮件数据 其指向检测正面或负面帖子的问题。我们一次只使用了 12 种语言,但评估了 44 种语言的结果,发现该模型已经学会了以非常高的准确度处理这些问题。由于该模型拥有足够多语言的情绪示例,因此它可以利用已知的知识专注于其他语言中对它的要求。
我们现在可以正式支持 44 种语言,但如果模型足够自信,它将对任何语言的情绪进行分类。未来我们将能够比以前更快地添加对更多语言的官方支持。
这个新模型有多准确?你如何测量准确度?
情绪本质上是一项主观任务,人们首先对这项任务的定义有不同的解释。例如,研究表明,两个人对某件事的情绪只有 80% 左右的时间是一致的——而且这还是在相对容易评估的推文上。
Brandwatch 客户通常可以预期平均准确率约为 60-75%,但这始终会因所查看的数据类型而异。例如,如果我们仅基于一组 IMDB 电影评论进行评估,我们可以看到更高的准确率。我的团队的任务是计算来自 1 亿多个数据源的帖子的情绪,因此我们尝试使用各种各样的数据集进行评估。(换句话说,我们试图让自己变得困难!)。
评估方式会对结果产生巨大影响。我们已经能够 还有更多激动人心的消息 在多个公共数据集测试,其中人工智能和自然语言处理领域的一些大公司也提供了预测。在这次整体表现的同类比较中,Brandwatch Consumer Research 在这些备受推崇的数据科学公司中始终处于领先地位。
作为一名数据科学家,您会给那些在工作中使用情绪分析的人什么建议?
首先,我要说的是,一定要明确定义自己想要做什么。人们认为什么是积极的,什么是消极的,往往取决于他们想要了解什么。
情绪分析是一种工具,而不是一个不容争辩的“事实”。如果您正在评估品牌健康状况,您需要将数据细分为类别、受众和主题,以使用情绪来确定究竟是什么在推动舆论以及如何改进它。如果您试图预测潜在的危机,您需要更加关注数据中不断变化的趋势或峰值,以便更快地采取行动。
情绪在总体上最有用——分布如何随时间变化。如果有高 台湾数据库 峰和低谷,这些就很重要。设定基准,然后在数据偏离常态时进行更仔细的调查,这始终很重要。
Colin,感谢您抽出时间接受采访,也感谢您的团队的辛勤工作,为 Brandwatch 客户带来这一令人兴奋的新平台发展!
如果您想了解 Brandwatch 的情绪分析实际效果,请点击此处预约会议。如果您是现有的 Brandwatch 客户,那么您今天就已经从项目中的新情绪模型中受益。