摘要：大数据的产生为公路工程质量监控技术带来机遇与挑战。公路工程质量监控大数据具有典型的“４Ｖ”特征。为深入分析大数据在公路工程质量监控中的应用，从公路工程质量监控大数据的产生、处理流程与关键技术等方面进行论述。分析了公路工程质量监控大数据的存储结构、计算过程以及数据可视化处理的流程，提出了公路工程质量监控大数据应用时所面临的问题与挑战。
关键词：大数据；公路工程；质量监控；应用与挑战
引言
近年来，随着交通建设的迅速发展，截止２０１５年我国公路总里程将达到４５０万公里，其中高速公路通车总里程达到１０．８万公里，全国高速公路路网已基本形成规模，促进了区域经济的发展，社会效益较好。在交通部发布的《国家公路网规划（２０１３年—２０３０年）》发展规划中，全国高速公路通车里程预计达到４０万公里，我国将基本实现省际多路连通、地市高速通达、县县国道覆盖的目标［１］。从上述规划来看，仅高速公路的建设缺口就近３０万公里，其建设任务较重，另一方面，在工程建设过程中的质量监控也提出了新课题。以西部地区为例，交通运输部质量监督局已在２０１２年３月启动了西部项目“公路工程质量安全过程控制智能化与远程监控技术研究”的研究工作，项目要求采用信息化技术手段，融入现代计算机技术、实时信息传输技术，人工智能化技术到工程监督中，对重点工程、重点部位的实时监控，实现工程质量安全监管的实时化、智能化、远程化，弥补人为管理的漏洞和缺失，提高质量监控和监管效能，以保障公路工程的建设质量［２］。公路工程建设的智慧化监管，需要对在其在建设过程中产生的大数据进行透彻分析，服务于管理者和决策者，便于及时排查和纠正在工程施工过程中潜在安全隐患，为生命和财产提供安全保障。
１公路工程质量监控大数据来源及其特点
就大数据而言，是一个抽象模糊的概念，大部分人也只是从数据量的大小和规模去感知，像ＴＢ、ＰＢ、ＺＢ、ＹＢ这样的数据量存储单位被理解为大数据与传统数据的区别，很显然这仅仅是海量数据，在ＩＴ界被公认的具有Ｖｏｌｕｍｅ（容量大）、Ｖａｒｉｅｔｙ（种类多）、Ｖｅｌｏｃｉｔｙ（速度快）和Ｖａｌｕｅ（价值密度低）特征的数据，才能被称为大数据，简称大数据４“Ｖ”特征［３］。
１．１公路工程质量监控中大数据的来源
公路工程建设在开始施工到验收竣工，要产生大量的、类型各异的数据，其主要有以下几种来源：（１）施工试验数据：道路在施工前需要对工程中的各种使用材料在该项目环境条件下做实验，以得出在该环境条件和地理区域条件下相应材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，稳定土和建筑砂浆，沥青材料，沥青混合料等相关实验数据，用数据来保障施工质量，确保规范施工。（２）施工监控数据：在工程项目施工阶段，人员行为规范、施工操作规范、压力传感数据，施工环境温度（湿度）等产生的文字、图片、声音和视频数据。（３）施工应急数据：在施工过程中会有各种突发事件，如何科学地把突发事件带来的危害降到最低，最大程度减少人员和财产损失，是工程应急处理的难题。在施工过程中，利用各种传感器对突发事件进行动态监测，将对应急处置起到关键性的作用，而该过程中将产生大量的数据。（４）工程竣工检测数据：在工程项目施工验收阶段，需对路基、路面、交安设施、机电系统等进行标准检测，判断各项功能是否能达到标准规范。如路基压实度，路面承载能力、应力数据，标识标线厚度、反光标志系数等相关检测数据。根据《公路工程质量检验评定标准》ＪＴＧＦ８０－１－２０１２和ＪＴ－ＧＦ８０－２－２００４相关要求［４］，需产生大量的数据。随着交通建设的快速发展，工程质量监控面临新的挑战，沿用以往“人工＋纸笔”的管理方式，基本不能实现工程质量的科学化管理，根据工程质量“终身制”的相关要求，在工程设计使用年限内，承担相应的质量终身责任，如沿用以往的管理方式也不便于责任的追溯。当今“互联网＋”时代，利用云计算对工程施工中产生的大数据进行分析，用数据来实现工程项目中全过程跟踪管理和全方面实时监测监管，实现工程实体和质量行为的实时自动监管巡查和预警，将有助于提高工程质量，保障国家财产安全。
１．２公路工程质量监控中大数据的特点
（１）数据规模在工程质量监控中，以施工人员行为监控为例，一个质量监督点采用７２０Ｐ高清视频图像采集设备，每小时图像采集数据经压缩处理后可达到３ＧＢ左右的大小，全天候采集一个月，产生的数据量约为２．１６Ｔ［５］。在工程施工过程中隧道掘进、路基路面、桥梁结构、材料搅拌、设备操作等等都需要对施工人员行为和过程进行视频监控，按上述计算，每月产生的数据能至少为ＰＢ级以上，按照交通部发布的《国家公路网规划（２０１３年—２０３０年）》发展规划，监控视频数据就将产生海量的数据。（２）数据类型在公路工程施工过程中产生的数据类型种类繁多，除工程质量视频监控数据外，有影响工程施工质量的环境检测数据（如：温度、湿度），施工材料检测数据，工程质量试验检测数据，潜在地质灾害等数据，数据类型多样。（３）数据价值密度对于在公路工程质量监控中产生的数据本身而言，数据量大，但其价值密度较小。如施工人员操作不符合规范，通常情况下就只有几秒或几分钟，在ＰＢ级以上的数据量里，其占有的价值密度较低。（４）高速性在公路工程质量监控中，除对工程质量本身监督外，还应对工程质量进行把控和预警。如：路面未达到养护期要求而强行进行下一周期施工，此时系统就应快速地对大数据进行分析，并及时发出预警提示。
２大数据的处理
随着“互联网＋”时代的发展，人们对各行各业中产生的大数据进行分析，给众多决策者提供了有力的决策支持［６］。如：沃尔玛超市通过大数据分析在超市行业中曾经取得的辉煌成就；阿里巴巴通过大数据分析在电子商务行业取得的突破；滴滴打车或Ｕｂｅｒ通过大数据分析在出租车行业中取得的地位等等；均是基于大数据分析或处理而取得的成功案例［７］。然而在公路工程施工质量监控方面，大数据的应用还较薄弱，通过对公路工程质量监控中产生的大数据进行分析，对不合格或不符合规范的工程质量及时的启动预警机制，将减少国家的财产损失，保障交通参与者的生命安全，为公路工程建设提供技术支撑。
２．１云计算
公路工程质量监控大数据中，核心是对于数据的分析和处理。“云计算”是大数据处理的基础，为数据分析提供技术保障。云计算利用Ｉｎｔｅｒｎｅｔ和虚拟技术把计算机各种软、硬件资源融为一体，形成大规模的共享资源池，为用户提供ＩａａＳ（基础设施即服务），ＰａａＳ（平台即服务），ＳａａＳ（软件即服务）［８］。云计算是典型的分布式模型，为公路工程质量监控大数据并行处理提供平台。Ｇｏｏｇｌｅ、ＩＢＭ、阿里云等知名公司大数据分析处理和应用都是基于云计算为基础，最典型的应用就是分布式文件系统、批处理技术、分布式数据库等［９］。
２．２大数据存储技术
公路工程质量监控中产生的大数据在ＰＥ级以上，怎样降低存储成本、提高数据并发吞吐量是大数据存储的关键。分布式文件系统，是大数据在存储中的一种关键技术，Ｇｏｏｇｌｅ公司研发的ＧＦＳ（ＧｏｏｇｌｅＦｉｌｅＳｙｓｔｅｍ）分布式文件系统是大数据在存储中的典型应用。其与后来研发的ＭａｐＲｅ－ｄｕｃｅ、ＢｉｇＴａｂｌｅ技术构成了Ｇｏｏｇｌｅ搜索引擎大数据存储的三大核心技术［１０］。公路工程质量监控中产生的海量异构数据，存储架构分为存储层、基础管理层、应用接口层、访问层。存储层主要完成数据接入与信息集成、存储虚拟化存储设备；基础管理层主要包括集群数据、并行数据仓库盒实时数据库；应用层接口主要完成任务管理、调度与监控；访问层主要包括视频监控系统、环境监测系统、应急指挥系统、实验检测系统和工程档案系统等，如图１所示。公路工程质量监控大数据与其它类型的大数据有所不同，有的数据需要急时处理，响应急时的特点，以便于做出急时的应急响影决策，否则会造成重大经济损失和人员伤亡。故需要研究公路工程质量监控大数据在存储结构上的特点，为后续的数据分析提供支撑。
２．３实时数据处理技术
在公路工程质量监控产生的大数据，类型多样，包括声音、图像、文本等结构化和非结构化数据，通过数据清洗来消除数据不一致是非常有必要的，也是数据处理的关键因素。在大数据实时处理流程中数据分析（ＤａｔａＡｎａｌｙｓｉｓ）是核心，为提高数据的访问速度，建立分布式数据库，利用各种类型的大数据分析技术，对各种异构的数据进行分析，最终利用可视化技术，把数据分析结果展现给用户，以满足公路工程在施工过程中监督和决策的需求。传统数据，一般采用关系数据库来进行存储，ＯＬＴＰＴ和ＯＬＡＰ是传统数据的主流应用，ＳＱＬ是传统关系数据库存系统的存取标准［１２］。但在公路工程质量监控中产生的数据，有很多不具有关系数据库的条件，很多数据是非关系数据，故需要其它方式的数据分析管理技术。Ｇｏｏｇｌｅ公司于２００４年推出的ＭａｐＲｅｄｕｃｅ技术，它的并行数据处理方式是大数据分析和处理的典型应用，其主要包括分布式文件系统（ＧＦＳ），并行编程和并行执行三个方面。ＧＦＳ为大数据的储存和并行计算提供平台基础支撑，采用键／值（ｋｅｙ／ｖａｌｕｅ）方式对数据进行分布式存储［１２］。ＭａｐＲｅｄｕｃｅ是一个通过将任务独立化进行计算的一种模型技术，主要有Ｍａｐ和Ｒｅｄｕｃｅ两个阶段，首先把公路工程质量监控中产生的大数据按算法进行以＜ｋｅｙ，ｖａｌｕｅ＞的形式进行任务分块，把分块任务交由Ｍａｐ进行并行执行，执行完Ｍａｐ函数后，将数据转换成符合模型的＜ｋｅｙ１，ｖａｌｕｅ１＞的形式，并把数据写入硬盘。然后进入Ｒｅｄｕｃｅ阶段，Ｒｅ－ｄｕｃｅ接受Ｍａｐ阶段的执行结果，对数据进行合并归约计算，最终得到输出结果，并写入到ＧＦＳ文件系统［１３］。公路工程质量监控大数据ＭａｐＲｅｄｕｃｅ计算过程，如图２所示。图２公路工程质量监控大数据计算过程公路工程质量监控大数据ＭａｐＲｅｄｕｃｅ并行计算模型，将简化数据的计算过程，减少数据传递开销，使公路工程质量监控中各类应用程序设计直观化。
３大数据在公路工程质量监控中的机遇与挑战
３．１大数据可视化分析技术
可视分析技术的定义是指：一种通过交互式可视化界面来辅助用户对大规模复杂数据集进行分析推理的科学与技术［１４］。大数据可视化分析是指在对数据挖掘分析的同时，利用可视化用户界面以及人机交互技术，融合人的辨别能力与计算机的数据计算能力，为决策者提供更加科学、合理的决策依扰。公路工程质量监控大数据可视化分析关键核心是数据的集成和接口，而其数据规模大、快速多变、数据源异构，使得对大数据的处理、分析和可视化带来具大的挑战。数据信息的可视化根据其特征分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化，在公路工程质量监控大数据中主要包括文本可视化、网络或图可视化、时空数据可视化、多维数据可视化等。文本信息是非结构化数据的代表，是公路工程质量监控大数据中的主要信息类型，是记录施工数据的重要环节，文本信息可视化可采用把文本语议结构以树的形式进行可视化操作；网络或图是大数据中最常见的关联关系，是记录施工过程状态的重要信息，网络或图可视化可采用基于节点和边的可视化方法；时空数据是带地理位置标签的数据，是记录施工环境状态的重要信息，为反应时间与空间的变化，一般采用流式地图来展现；多维数据是多个维度空间的数据，是记录整个施工过程的重要信息，一般可采用基于几何图形的可视方法来实现［１５］。
３．２大数据在公路工程建设中的应用
大数据在公路工程质量监控中的应用还处于起步初级阶段，依托大数据建立质量监督管理、安全监督管理、监理行业管理、试验行业管理、工程竣（交）工验收管理、突发应急预案、事件检测、应急响应、现场救援、总结评估等平台，以数据指标为度量，直观、全面、准确地监测和分析各个环节要素的动态变化数据信息，为管理者提供科学决策依据，提高监管效能。如：工程建设过程中突发事件应急处理，可利用地理信息系统（ＧＩＳ）平台，对基础地图数据、应急资源数据、重大危险源数据进行管理并以电子地图显示，可及时预测突发事件危险存在范围，辅助突发事件应对机制的决策。在建项目监督管理，通过对试验检测实验室、各种机械设施设备的数据采集，实现试验检测数据、设施设备主要数据的采集与汇聚，生成质量监控大数据。通过对大数据的分析和规范性电子监控比对，实现工程实体和质量行为的实时自动监管巡查和预警等。
４总结
这是一个数据信息时代，不管是商业领域还是工程建设领域，都与数据有联系，如何科学的运用这些数据来分析和解决问题，是各领域应重视的问题［１６］。本文对公路工程建设质量监控中大数据的产生、存储、处理和数据特点等进行了深入分析，详细介绍了大数据处理的关键技术，对大数据在公路工程质量监控中带来的应用进行了论述。但大数据在公路工程质量监控中的运用还处于起始阶段，如何提高数据的采集质量，解决工程建中大数据传输、提高数据可靠性等方面还存在着研究的空间，需要更多的研究者去探索和研究。
