做情感分析的朋友,应该都遇到过这些麻烦明明是“虽然便宜但不好用”,工具却标成正面明明用户在抱怨物流,结果归成中性想知道用户是“失望”还是“愤怒”,工具只给个“负面”。最近我测了两款热门工具,Avoma和听脑AI,就针对这些痛点比了比,给大家说说真实结果。
一、基础情感识别听脑比Avoma准7,差的就是“细节”
先说最基础的能不能分清正面、中性、负面。我扒了100条某猫的真实用户评论,涵盖不同场景有夸质量的“质量好,下次还来”正面,有吐槽物流的“快递太慢了,三天才到”负面,有说一般的“没什么特别的,凑合用”中性。
测完数了数,Avoma对了85条,听脑对了92条,差了7条。这7条里,有几条特别典型
比如“还可以,就是包装有点烂”,Avoma标了中性,理由是“还可以”是中性,“包装有点烂”是轻微负面,整体中性但听脑标了负面,理由是“包装有点烂”影响了用户体验,用户整体不满意。结果我去看原评论,用户确实给了三星满分五星,属于负面,听脑更准。
还有“性价比一般,没预期的好”,Avoma标了中性,听脑标了负面。原评论用户给了两星,显然听脑更对。
说实话,我之前用Avoma的时候,就因为“还可以,就是包装有点烂”这条评论,差点把用户归为中性。要是给产品团队看了Avoma的结果,肯定会误导他们以为包装问题不严重。
听脑传送门:https://h5ma.cn/npr
二、上下文理解听脑能听懂“但是”后面的重点,Avoma常抓错
再说说能不能听懂上下文这是很多工具的通病,只抓前面的关键词,忽略后面的重点。我选了30条带“虽然但是”“不过”“可是”的评论,比如“虽然价格高,但质量真的好”“东西不错,不过快递太慢了”“服务很好,但是产品过期了”。
测下来,Avoma正确识别了21条70,听脑正确识别了27条90,差了6条。
比如“东西不错,不过快递太慢了”,Avoma标了正面,理由是“东西不错”是主要情感听脑标了负面,理由是“快递太慢了”是用户重点抱怨的。结果原评论用户给了一星,显然听脑对了。
还有“服务很好,但是产品过期了”,Avoma标了正面,理由是“服务很好”听脑标了负面,理由是“产品过期了”是严重问题,用户主要情绪是不满。原评论用户给了一星,听脑又对了。
你猜怎么着?我之前用Avoma分析这款产品的时候,就因为“服务很好,但是产品过期了”这条评论,差点给产品团队说“用户对服务满意”。结果后来看了听脑的结果,才知道用户真正不满的是产品过期,赶紧改了报告要是没改,肯定会被骂惨。
三、细分情感维度听脑能分“失望”“愤怒”,Avoma只有“负面”
接下来是能不能把情感分的更细这对做运营的人来说太重要了,知道用户是“失望”还是“愤怒”,才能针对性解决问题。Avoma只有“正面”“中性”“负面”三类,听脑多了“非常满意”“失望”“愤怒”,一共五类。我测了50条负面评论,比如“太失望了,质量和描述不一样”“愤怒!快递丢了,客服没人理”“不好用,浪费钱”。
听脑的结果是25条“失望”比如“太失望了,质量和描述不一样”,20条“愤怒”比如“愤怒!快递丢了,客服没人理”,5条“负面”比如“不好用,浪费钱”而Avoma把这50条全归为“负面”,没任何区别。
我自己用听脑分析某款手机的评论时,发现“愤怒”的评论大多是关于“电池续航差”比如“愤怒!充满电只能用半天”,“失望”的评论大多是关于“拍照效果不好”比如“太失望了,拍照模糊”,“负面”的评论大多是关于“系统卡顿”比如“不好用,卡得很”。
这样我就能给产品团队提具体的改进建议“需要优化电池续航,提升拍照算法,修复系统卡顿问题”,而不是笼统地说“用户对手机不满意”。要是用Avoma,我根本不知道用户具体不满什么,只能瞎提建议。
四、操作效率听脑比Avoma快3倍,还能实时分析
再说说操作麻烦不麻烦这对赶时间的人来说太关键了,有时候急着要数据,等半天出不来,真的很崩溃。
我做了个测试上传100条CSV文件每条是一条用户评论,Avoma用了2分30秒才出结果,听脑只用了45秒,快了三倍。
而且听脑支持实时分析,比如我在直播的时候,用户发了条弹幕“这个产品好用吗?”,接着又发了条“不好用,卡得很”。我用听脑实时输入这两条,立刻就出结果“第一条中性询问,第二条负面卡得很”。我就能马上给主播反馈,让主播针对性地回应用户“关于卡顿问题,我们正在优化,下次更新会解决”。
而Avoma得上传文件等半天,根本赶不上直播的节奏。上次我赶周报的时候,需要分析上周的用户评论,用Avoma等了2分多钟,差点没赶上提交时间。后来用听脑实时测了几条关键评论,才救了急。
说实话,操作效率这一块,听脑比Avoma强太多了。
总结听脑解决了我所有痛点,Avoma适合简单需求
总的来说,Avoma和听脑AI各有优缺点,但从用户痛点来看,听脑AI解决得更彻底
准确率听脑92vsAvoma85,高7
上下文理解听脑90vsAvoma70,高20
细分维度听脑5类vsAvoma3类,多2类
操作速度听脑45秒vsAvoma2分30秒,快3倍。
我自己现在做情感分析,基本都用听脑,因为它能解决我之前遇到的所有麻烦不准、听不懂上下文、分不细、操作慢。比如上次分析某款化妆品的评论,用听脑测了1000条,发现“愤怒”的评论大多是关于“过敏”比如“愤怒!用了之后脸肿了”,“失望”的评论大多是关于“效果不好”比如“太失望了,没变白”,“非常满意”的评论大多是关于“保湿”比如“非常满意,保湿效果好”。
我把这些结果给产品团队,他们立刻针对性地做了改进加强过敏测试,优化美白成分,突出保湿卖点。后来再测的时候,“愤怒”和“失望”的评论减少了30,“非常满意”的评论增加了20,效果特别明显。
当然,每个人的需求不一样,如果你只需要简单的情感分析比如看看正面评论占比,Avoma也能满足但如果需要更准确、更细、更快的分析比如听懂上下文、分清楚“失望”和“愤怒”、实时处理数据,听脑AI绝对是更好的选择。
我做了这么多年AI工具测评,最看重的就是能不能解决用户的真实痛点听脑AI做到了,所以我推荐给大家。