认识达内从这里开始

认真做教育专心促就业

舆情系统和大数据

发布：杜常安
来源：潍坊达内
时间：2016-10-22 13:47

潍坊达内小编和大家分享一篇不错的文章，在 AlphaGo 和李世石的世纪大战刚过去的时刻，这次分享也是要扯上这方面的关系。大家似乎都学会了很多的专业名词，比如大数据计算、深度学习、价值网络、蒙特卡洛等等。可以想见在关于人工智能领域的公众讨论中包含着大量混乱的信息，一方面是人工智能，也就是 Ai 在这个领域上对于公众的理解都是在类似《终结者》这种仿人智能实现的文化中，这种知识便于知识域的类比和搬迁，所以很自然的可以看到各种公众号上类似盛世危言的各种文字流传和讨论，但是这些其实没有什么营养，因为这就是流行文化，等宋仲基们出来，很快这些议题就被忘却了。

潍坊达内

另外一方面是 Ai 在科研曾经是困难重重，长时间以来无法形成有效的理论突破，因为智能，或者说和人相关的认知、思维、意识等，是具有高度复杂性的，过去的很长的时间里，人们不断试图构建“思维机器”，希望能够类人话，但是都失败了。所以这条路目前看来其实是个死胡同。而事实上取得了突破的，确实是在某些特定问题的解决上达到甚至超过人类的计算实现。至于什么天网意识复苏的段子，笑笑就好了，当真的话，就是科幻作品看太多了。

我今天要介绍的舆情分析系统其实也算是大范畴下的大数据计算的领域，也有一些机器学习相关的内容，只是技术上没有他们的那么复杂。单说舆情，其数据主要来源是通过爬虫抓取网络资讯，主要是以文本数据分析为主，所以数据量并不算大，但是因为是非结构化的数据，主要还是自然语言处理方面的工作，处理计算起来，也并不容易。而在文本数据分析的技术上，通常会有主题聚合、相似新闻判断、事件敏感性或者新闻的情绪分析等内容。

日常生活中，大家对于大数据、机器学习都还是基于媒体报道而带来的理解，实际接触并不多。

相对高的门槛，如技术门槛、数据质量、计算能力等特征，使得机器学习并不能像移动 App 这样，快速地发展起来。在数据分析和产品结合的道路上，有很多东西可以做的，毕竟要让产品有效地服务市场需求是最为重要的。技术的学习和使用并不是最大的问题，我理解上是在自己的领域内，知道如何使用技术来解决问题，这涉及到业务建模的过程。

我们在阿里云的平台上构建了很多系统和服务，过去在做技术交流的时候，阿里云的团队都开始推介基于他们的 ODPS 平台的机器学习的各种算法，也就说，现在的各种机器算法已经开始模块化，不需要自己写 Python，写 Java 坑次坑次地折腾，要躲过无数的坑。所以说现在是最好的时代，也是最坏的时代，现在的技术平台比十几年前要强大得多，做好技术的拼接已经可以解决很多问题。遥想当年自己还在写着服务器缓冲组件和数据库 ORMapping 的组件，已经恍如隔世。当然与之相随的坏处就是门槛降低了，竞争更激烈，产品要求更高。所以今天的分享在技术上的应用并不多，主要讲下面的更重要的应用建模逻辑，而这部分的干货往往是产品能否成功适应市场生存的重要因素。

< 上一篇：你知道使用static修饰属性或方法后，属性和方法有什么特征吗？

下一篇：互联网+是什么 >