借助机器学习对垃圾信息说不

2019年04月11日 来源:

借助机器学习,对垃圾信息说“不”

作者:未知来源:科技

七夕将至,你是否收到过电商店铺推送的打折促销短信?平时是否经常收到理财、贷款、购房等信息?如果你是苹果用户,那你是否有过半夜收到iMessage推送赌场、假货、股票以及色情信息的经历?

商家给安卓用户推送广告信息需要通过移动、联通等运营商,运营商会拦截掉一些非法信息,而针对苹果用户,商家甚至不法分子则可利用iMessage渠道通过互联直接向用户推送垃圾信息,目前苹果公司尚未采取有效的筛选、拦截等手段。

近日,苹果官方终于发声,表示正在探索更先进的机器学习模型识别,过滤垃圾信息。机器学习模型如何过滤垃圾信息?又面临哪些技术难点呢?科技采访了相关专家。

作为人工智能的核心技术,机器学习是计算机模拟人类思考方式的一种学习行为森林舞会
,它让计算机变得聪明伶俐。基于机器学习的垃圾信息过滤技术实际上是一个二元分类过程,机器学习模型需回答是或不是,以便将垃圾文本从大量信息中分离出来。北京语言大学大数据与语言教育研究所所长荀恩东教授在接受科技采访时说,首先应准备人工标注的数据,进而构建机器学习参数化模型,对其训练、测试,直至模型应用,解决实际问题。

目前市场上识别垃圾邮件、短信的机器学习模型绝大部分采用的是针对文本显式特征的分析和提取。荀恩东解释,所谓显式特征,是指垃圾信息的关键词、表达形式、特殊符号、异体字、敏感词语表达方式等外在特征。将这些多元、离散的特征元素汇总,便可构成显式特征列表,进而构建模型对垃圾信息进行甄别。

这种分类方式效率较高、成本较低、所依赖数据较少,但也存在适应性差,识别精度不高等不足之处。荀恩东指出,如果垃圾信息发送方掌握了用户拦截系统的显式特征列表,便可对垃圾信息的敏感词汇作出相应调整,变换表达形式,从而有效规避拦截系统。因此分类器需要实时动态更新显式特征列表,即便如此,该列表元素数量也十分有限,导致分类器过滤效果不佳,精确度不高。

基于显式特征的分类方式先天不足,苹果公司有可能将目光投向隐式特征分类,即深度学习模型。荀恩东表示,深度学习模型可对海量数据的信息进行深度挖掘,从信息的语义和内容上对垃圾信息进行甄别。也就是说,同样一条推销短信,深度学习模型基于庞大的数据库,可分析出它的多种表达方式,从而做出更加准确的判断,仅靠改变文字形式无法逃脱深度学习模型的火眼金睛。深度学习模型省去了前期建立大量显示特征列表的工作,只需标注垃圾、非垃圾信息即可,不仅效率提高,识别精度也得到很大提升。

基于深度学习的垃圾信息过滤技术目前也面临诸多技术难点双胶纸品牌
。复旦大学计算机科学技术学院张军平教授表示,虽然有大数据支撑,深度学习模型在很多方面还是无法像人一样有效分析和理解信息中的内容。例如,个别汉字的顺序颠倒不一定能影响阅读,然而深度学习模型并没有人脑这样聪明。另外,组合爆炸问题也是难点之一。垃圾信息涉及领域广泛,形式变化多端,大数据深度学习模型可能对已有的垃圾信息有效分类,但面对新出现的垃圾信息可能就会蒙圈。

这需要借助类似长短时记忆络或更新的一些技术,对深度学习模型进行定期更新。 张军平认为,还可以考虑自然语言处理中的一些句与句的关系郑州押车贷款
,进一步完善深度学习算法,从而改善其预测、分类能力。

相关文章
  • 上海吴淞口沉船1人遇难9人失联船员3分钟
    上海吴淞口沉船1人遇难9人失联船员3分钟

    三角防护网土木格栅改性聚合物水泥砂浆 原标题:已1人遇难 船员:撞船3分钟就沉了1月3日,吴淞海事局海事巡逻船正在事故海域进行临时航道管理。中新社记者 殷立勤 摄 “长平”轮失踪船员已有1人遇难 据《劳动报》报道,1月2日深夜,载有5000吨钢材的“长平”...

  • 65家公司分红实施899家公司发布分红预案
    65家公司分红实施899家公司发布分红预案

    本报 姚博海 北京报道Wind资讯统计数据显示,截至3月30日,在已经发布年报的1225家上市公司中,有65家实施了分红方案,899家公布分红送转预案。 分红送转是否能真正给投资者带来收益,在分红送转后上市公司股价是否会发生变化,这些都是投资者希望寻找到的答案...

  • 上市房企冷对1月销售额普涨看了2月再说吧
    上市房企冷对1月销售额普涨看了2月再说吧

    上市房企冷对1月销售额普涨:看了2月再说吧上市房企冷对1月销售额普涨在楼市传统销售淡季的1月,上市房企却普遍给出了一份靓丽的销售数据。截至昨日发稿,早报统计的9家上市房企中,销售金额出现同比下降的有3家,大部分房企在1月的销售额同比均出现了大幅...

  • 发改委今年起高铁票价由铁总自主制定
    发改委今年起高铁票价由铁总自主制定

    原标题:国家发展改革委关于改革完善高铁动车组旅客票价政策的通知发改价格[2015]3070号中国铁路总公司:2008年以来,部分高铁动车组实行铁路运输企业自主制定试行票价,市场运行总体平稳,对促进旅客运输市场竞争、提升铁路客运服务水平、方便群众快捷舒适...

  • 美国黑色星期五电商销售逆势创纪录
    美国黑色星期五电商销售逆势创纪录

    尽管这个“黑色星期五”假期美国的传统零售表现不佳,但购业务却异常火爆,这也让eBay和亚马逊等电商企业受益匪浅。据彭博的数据,美国今年“黑色星期五”的上消费增长15%,达到创纪录的12亿美元。不过,这其中也要考虑到今年感恩节来得比较晚的因素。除了...

  • 吴莫愁曝清纯照细数那些珍贵的绝版少女照
    吴莫愁曝清纯照细数那些珍贵的绝版少女照

    吴莫愁曝清纯照 那些珍贵的绝版少女照吴莫愁的罕见清纯素颜照吴莫愁早期中性打扮照一向被认为浓妆吓人的吴莫愁,日前上热传她的罕见素颜清纯少女照。这里的绝版少女照指的是这张少女照是的。让我们来看下那些珍贵的绝版少女照吧。吴莫愁如今妖艳...