北京企业物联网大数据平台

高效分布式必须是高效的分布式系统。物联网产生的数据量巨大，*中国而言，就有5亿多台智能电表，每台电表每隔15分钟采集一次数据，***全国智能电表就会产生500多亿条记录。这么大的数据量，任何一台服务器都无能力处理，因此处理系统必须是分布式的，水平扩展的。为降低成本，一个节点的处理性能必须是高效的，需要支持数据的快速写入和快速查询。2.实时处理必须是实时处理的系统。互联网大数据处理，大家所熟悉的场景是用户画像、推荐系统、舆情分析等等，这些场景并不需要什么实时性，批处理即可。但是对于物联网场景，需要基于采集的数据做实时预警、决策，延时要控制在秒级以内。如果计算没有实时性，物联网的商业价值就大打折扣。需要单一的后台管理系统。北京企业物联网大数据平台

近年来，企业对于大数据的搜集和运用越来越重视，大数据的运用对企业发展发挥了中重要作用。大数据是近年来备受关注的一门技术，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据的价值体现在几个方面：1、对大量消费者提供产品或服务的企业可以利用大数据进行精细营销；2、做小而美模式的中小微企业可以利用大数据做服务转型；3、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。大数据发展的未来趋势预测趋势一：数据的资源化何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。北京企业物联网大数据平台便于私有化部署。因为很多企业出于安全以及各种因素的考虑，希望采用私有化部署。

数据接入服务（DIS）：数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。实时流计算服务（CS）：实时流计算服务（Cloud Stream Service），是运行在公有云上的实时流式大数据分析服务，全托管的方式用户无需感知计算集群，只需聚焦于Stream SQL业务，即时执行作业。

趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据**，让大数据营销发挥出更大的影响力。趋势三：科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术**。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。趋势四：数据科学和数据联盟的成立未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的**一环。准确的说，系统必须是一个写优先系统。

该方案的数据流向如下：物联网平台将设备上报的数据通过规则引擎功能转发至数据接入服务（DIS）。DIS使用对象存储服务（OBS）作为中介，再将数据转储至MapReduce服务（MRS）。MRS从OBS获取用户定制的分析程序包，运行程序分析数据，并保存分析结果（可写入持久化数据库或写成文件）。数据可视化服务（DLV）读取分析结果呈现为可视化报表。实现该方案，您需要进行以下操作：在MRS中创建一个Hadoop分析集群。参考MRS的开发指南开发一个大数据分析程序，实现读取JSON格式的数据分析并处理，然后写入本地数据库或者写成文件存到OBS。程序开发完成后需打包成JAR文件并上传至OBS桶，若您没有OBS桶请创建一个。创建一条DIS通道，然后为该通道创建一个转储任务，将数据转储至MRS的集群。在设备接入服务中创建一条规则，将设备上报数据转发至DIS的通道。将上报数据的设备接入物联网平台（设备接入服务），并控制其上报数据。在MRS中创建一个作业，执行OBS桶中的大数据分析程序。在DLV中创建数据连接从MRS数据库或OBS中读取数据，再创建数据大屏将数据可视化展示。一个大的系统，采集的数据种类繁多，而且除采集的原始数据外，还有大量的衍生数据。北京企业物联网大数据平台

对于物联网场景，需要基于采集的数据做实时预警、决策，延时要控制在秒级以内。北京企业物联网大数据平台

   数据处理：数据处理包括实时计算和离线计算两种。TIZASTAR采用Storm作为实时处理引擎，并在它的基础上包装了自己的实时计算服务，可以支持应用层的调度和管理。基于实时计算服务可以很容易实现对物联网数据的清洗、解析、报警等实时的处理。离线计算支持MapReduce和Hive等，主要用于对物联网数据做日/周/月/年等多个时间维度做报表分析和数据挖掘，并将结果输出到关系数据库中。●数据交换接口：数据交换接口支持SQL、Restful、Thrift和JavaAPI等，用户可以根据实际情况灵活选择数据交换的方式。数据交换的内容包括物联网终端的当前状态、物联网终端的历史状态/轨迹、指令下发、数据订阅与发布等等。●平台管理：平台管理包括监控报警和管理UI。监控报警采用Ganglia和Nagios结合的形式，包括硬件级别（服务器、cpu、内存、磁盘等）、进程级别（进程不存在、端口***异常等）、关键业务指标（中间队列的元素数、网关建立的tcp连接数等）等三个级别。管理UI包括界面化安装部署、用户管理、终端管理、集群管理、数据接入管理、实时和离线计算任务界面化管理。北京企业物联网大数据平台