浅谈石油行业大数据发展趋势

　 浅谈石油行业大数据发展趋势

　摘要： 大数据的变革已经悄然深入人们的生活，一些先进的石油公司也尝试着在石油行业使用大数据分析，大数据已经成为油田企业未来的发展趋势。本文在分析大数据现状及在油田的应用之后，提出了石油行业大数据的发展趋势。

　　Abstract： The reform of big data has quietly entered into people's life， some advanced petroleum companies are trying to use big data analysis. Big data has become the development trend of petroleum companies in the future. This paper analyzes the current situation and the application of big data in the oil field， puts forward the trend of big data in petroleum industry.

　关键词： 大数据；勘探；开发；钻井

　Key words： big data；exploration；development；drilling

　中图分类号：TP3 文献标识码：A 文章编号：1006-4311（2013）29-0172-03

　0 引言

　继物联网，数据挖掘等名词已经广泛应用于各行各业，深入到人们的生活中之后，大数据也已经悄然来到我们的身边，准备掀起下一个信息革命的浪潮。大数据的来临带来了一场生活、工作与思维的大变革，涉及到公共卫生、商业、思维等相关领域的革命。作为石油行业的信息化工作者，了解大数据，学习相关技术和理论，是让我国石油行业信息化建设立于世界前列的重要工作之一。本文将会针对大数据时代展开，依次介绍大数据的发展历程、时代特征、特点及相关案例，针对石油行业的大数据发展趋势提出自己的观点，希望能为我国石油行业的大数据建设起到抛砖引玉的作用。

　　1 大数据时代的来临

　1.1 大数据大事记 麦肯锡观点：将来“大数据”完全能够成为企业的新型资产，形成竞争力的重要基础，正如强大的品牌一样。

　　在2011年初的瑞士达沃斯论坛上，一份题为《大数据，大影响》（Big Data，Big Impact）的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。

　　更加值得关注的则是，美国已经把大数据上升到了国家战略的层面。根据美国白宫2012年3月29日新闻，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，希望增强收集海量数据、分析挖掘信息的能力。

　　2012年7月10日，联合国发布政务白皮书《大数据发展：挑战和机遇》，建议联合国成员国开发大数据潜在价值。

　　2012年10月20日下午，中国计算机学会大数据专家委员会（简CCF TFBD）在中国计算机大会（CNCC 2012）上举行正式成立仪式。

　　据谷歌统计，大数据作为关键字被搜索的关注度从2011年起出现急剧上升的趋势，这表明，大数据时代已经来临。

　　下面，简介大数据时代具有的特征。

　　1.2 大数据时代特征

　1.2.1 全体数据 当数据处理技术，存储技术都已经发生了天翻地覆的变化时，我们不再需要考虑数据样本的成本问题。所以，“样本=总体”的理念已经悄然兴起。这是大数据时代的第一个变革：利用所有的数据，而不再仅仅依靠一小部分数据作为样本。

　　1.2.2 混杂 在信息缺乏的时代，只有5%的数据是有框架且适用于传统数据库的。而事实上，一些不精确的，甚至传统意义上来说是无用的数据的大量存在，恰恰是这个世界送给我们分析的宝贵财富，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。所以，我们需要的样本不是精确性，而是混杂性。

　　1.2.3 相关关系 大数据时代强调的相关关系也带给我们新的研究思路。知道“是什么”，而不是深究“为什么”。例如一项给沃尔玛的大数据研究显示，飓风发生的时候蛋挞的销量总是很好，所以在飓风发生的季节，沃尔玛会将蛋挞和飓风用品摆放在一起。这个现象，我们只需要结果，而不需要深究为什么，我们要用技术手段让数据“发声”。

　　1.3 大数据特点 大数据分析中80%-90%的数据是无用的但是却是真实可靠的数据。

　　①数据体量巨大。从TB级别，跃升到PB级别。

　　②数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。

　　③价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

　　④处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。

　　1.4 大数据的作用 大数据的作用可以形象地用图1来表示[20]。

　　如果把现实世界比喻成人体，那么物联网对应了互联网的感觉和运动神经系统。云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽。大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础。

　　包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。

　　2 石油行业大数据发展趋势浅析

　2.1 大数据在石油行业的现状 大数据分析在石油行业的应用还在试验阶段。一些公司、大学、油气田公司和大数据的先驱者们在进行着相关的研究工作。这些研究大都围绕着输入输出的数据如何能够被更高效的管理。下面是大数据可以做的一些工作：

　①英国石油公司在某采油厂安装无线感应器，通过全网式的数据采集，发现有些种类的原油比其它种类更有腐蚀性。这个发现无疑可以在设备和管线的使用上加强防范，使生产更安全。虽然只是一个局部的应用案例，但是已经能够说明大数据分析的应用对石油行业有着重要的作用和意义。

　②中国石油的油气生产物联网建设正在如火如荼的进行，将会统一对所辖的十六家油气田进行物联网的建设，统一标准规范，接口等相关技术细节。当油气生产物联网建设完成之后，就等于具备了上章中提到的人的感官和神经，那么大数据分析在中国的油田的大规模应用就近在眼前。

　　③使用Hadoop来处理地震数据：雪佛龙公司在其储层分析的识别过程的25个步骤中使用Hadoop技术来做地震数据分析并正在寻找能够更精确的使用更多数据的方法。处理过的数据被输入到高性能的计算机模型中进行数据分析。此项目使用了IBM的包括Hadoop栈组件的BigInsights技术。

　　④在云中使用Hadoop：荷兰皇家壳牌正在试行在私有云中使用Hadoop。这种尝试将会在不久的将来给出在云中使用Hadoop对整个油气生产的作用和意义。

　　⑤生产数据用于性能预测：某石油和天然气公司正在试验使用生产数据进行时间序列分析。这种分析现在已经可以预测产量为数十万吨的井。老井如果预测结果不符合预定值得则对其进行标记并立即整治。

　　⑥MapReduce方法应用于钻井数据调查：在这项试验中，一个叫做Chukwa的基于Hadoop的开源数据采集系统验证在使用大量文件工作时，Hadoop分布式文件系统是一个可取的方法。使用MapReduce方法应用于钻井数据调查是有效的。（源文件：[19]）

　⑦在Hadoop集群中存储和处理地震数据： Cloudera公司雇佣了设计Hadoop的架构师，启动了一个叫做地震Hadoop项目的项目。现在已经完成了一个建立在Apache Hadoop顶层的数据平台。这个平台可以在Hadoop集群中存储和处理地震数据。

　　⑧使用云存储地震和钻井数据： PointCross公司已经为石油和天然气行业推出了两款基于云的产品，地震的服务器和数据仓库使用的NoSQL和Hadoop技术来存储和管理SEG Y文件和钻井数据服务器和数据存储库，可以接受WITSML，LAS，WITS格式。NoSQL和Hadoop支持搜索和分析。

　　2.2 大数据在石油行业的发展趋势 在油气田公司的上游和中有应用大数据分析结构化操作数据非常有意义。数据的多样性对客户预测的需求会起到作用。勘探开发生产石油天然气的潜在应用：快速发现石油，降低生产成本，提高钻井安全性，增大产量。大数据分析可能在以下几个方面应用于油气生产领域：

　勘探：通过应用先进的数据，比如模式识别，在地震采集过程中得到一个更全面的数据集，地质学家可以识别在使用大数据之前可能被忽略了的潜在的富有成效的地震数据。

　　开发：大数据分析可以帮助石油天然气公司评估生产过程。这些分析涉及到地理空间信息、信息推送、油气信息报道等可以让集团可以更智能的开发油气水井、更富有竞争力的领域发挥大数据分析的作用。

　　钻井：除了基于有限的数据来进行监控和告警，大数据分析可以使用真正的实时“钻井大数据”来基于多个条件异常或预测钻井成功的可能性。

　　生产作业：提高采收率是很多石油天然气生产公司的目标。大数据可以同时使用地震、钻井和生产数据，将储层的变化情况实时的提供给储层分析工程师，为生产人员提供举升方法改造方案。大数据也可以用来引导页岩气压裂。

　　维护：预测性维护对于油气田公司来说已经不是一个新的概念了。但是它并没有得到应有的关注和预算。在上游生产过程中，如果压力、体积、温度可以被一起采集和分析，并且与以往的设备损坏历史数据进行比较，那么预测就是可以自动化的。在中游输油管道的情况也是类似的。这种方法在需要探测故障，尤其是故障会影响健康，安全和环境的时候显得尤为必要。

　　3 大数据需要解决的问题

　3.1 数据收集与存储

　①基础设施完善：大数据需要多样化的数据源，这就涉及到需要配套很多基础设施，并可以进行维护。设备的维护可以是带自检功能的智能设备来推送数据或者是采用射频的方式定期检查。无论采取什么方式都需要先期资金的投入。

　　②异源异构：大数据采集的数据是异源异构的，那么就涉及到数据格式和形式的统一问题，否则分析可能毫无意义。

　　③低成本、低能耗、高可靠性的存储：如何能够将海量的数据低成本、低能耗、高可靠性的进行存储也是大数据需要面临的挑战之一。

　　3.2 数据分析和可视化

　①海量：海量数据的分析需要好的点子和算法。并不是所有的数据作大数据分析都可以带来有意义的结果。拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。Twitter，拥有海量的数据，但是它的数据都通过两个独立的公司授权给别人使用。

　　数据在已经存在的计算模型中的高性能载入也是大数据分析要面临的挑战。高效和安全是取决于是否可以得到准确的信息。需要对数据中的异常情况进行预处理。高效的计算模型也不得不进行更深入的研究，因为很多在传统意义上的数据分析科学技术在大数据分析的大环境下已经失去了原有的科学性和高效性。

　　②动态交互：大数据只有能够进行动态交互，才能起到更大的作用。但是如何进行动态交互，也是大数据专家们正在研究的问题之一。欧美政府已通过网站平台进行数据开放，国内也在尝试，北京已上线，但数据质量很低。

　　3.3 数据开放与共享

　①安全和隐私：数据只有开放和共享，才能达到大数据分析的目的。但是很多数据涉及到企业的战略秘密，一些应用于电子商务的大数据可能暴漏隐私。这也是大数据带给我们的挑战。

　　②管理：在由“小数据”时代向大数据时代转变的过程中，我们对信息的一些局限性必须给予高度的重视。数据的质量可能会很差；可能是不客观的；可能存在分析错误或者具有误导性，更糟糕的是，数据可能根本达不到量化它的目的。那么如何管理这些数据也是这个领域需要研究的问题。

　4 小结

　随着大数据的发展，它带来的便利已经深入人们的生活。石油行业的大数据应用也是必然的发展趋势。地震产生的，钻井，开发的大量数据在单独进行分析的时候都需要做一些减少数据的调整，但是如果使用所有的源数据并且一起进行集成模型的分析，大数据分析就是不可缺少的技术。一些先进的石油公司的小规模应用成功，已经说明了大数据应用于一些油气生产过程的可行性。

　　作为石油行业的信息工作者，钻研大数据应用于此行业的发展趋势及所需技术，在物联网建设的基础上将更先进的理念应用于数字化油田，是我们必须要做的工作。

　　参考文献：

　[1]维克托.麦尔-舍恩伯格，肯尼思.库克耶著，盛杨燕，周涛译.大数据时代[M].浙江人民出版社.

　[2]涂子沛著.大数据[M].广西师范大学出版社.

　[3]Michael R.Brule.Real-Time Analytics and Data-Flow Architecture. SPE Digital Energy Conference and Exhibition held in The Woodlands， Texas，USA.May，2013.

　[4]Jill Feblowitz. Analytics in oil and gas： the Big Deal about Big data. SPE Digital Energy Conference and Exhibition held in The Woodlands， Texas，USA.May，2013.

　[5]McAfee，A.，Brynjolfson，E.，2012.Big Data： The Management Revolution ， p.60 ， Harvard Business Review. October.

　[6]Balto，A.etal.2012. The Use of Real-Time Distributed-Temperature and Downhole-Pressure Surveying to Quantify Skin and Zone Coverage in Horizontal-Well Stimulation. SPE 155723 presented at the SPE Annual Technical Conference and Exhibition held in San Antonio， Texas， USA， 8-10 October.

　[7]Brule，M. 2009. Using Massively Parallel Processing Databases. Digital Energy J.， September-October.

　[8]Brule， M. 2010. Fitting the data together. Digital Energy J.， March-April.

　[9]Brule， M.， Charalambous， Y.， Crawley，C.， and Crawford， M.2009. Reducing the Data Commute Heightens E&P Productivity. JPT， September.

　[10]Cayeux， E.， Dvergsnes， E. 2012. Early Symptom Detection Based on Real-Time Evaluation of Downhole Conditions and Results from several North Sea Drilling Operations. Paper SPE 150422 presented at the 2012 Intelligent Energy conference， Utrecht， the Netherlands.

　[11]El-Bakry， A， et al. 2012. Decision Support and Workflow Automation for the Development and Management of Hydrocarbon Assets Using Multi-Agent Systems. SPE 150285 presented at the 2012 Intelligent Energy conference， Utrecht， the Netherlands.

　[12]Florence， F.， Iversen， F. 2010. Real-Time Models for Drilling Process Automation： Equations and Applications. IADC/SPE 128958 presented at the 2010 IADC/SPE Drilling Conference in New Orleans. 2-4 February.

　[13]Godinez， M.， et al. The art of enterprise Information Architecture. IBM Press. 2010.

　[14]Hepso， V.， et al. 2012 Integrated Environmental Operations in Daily Operations， SPE 150054 presented at the 2012 Intelligent Energy conference ， Utrecht， the Netherlands.

　[15]Iversen， F.， et al. 2006. Monitoring and Control of Drilling Using Continuously Updated Process Models. IADC/SPE 99207 presented at the IADC/SPE Drilling Conference held in Miami. 21-23 February.

　[16]Patri， O.， et al. 2012. Event-Driven Information Integration for the Digital Oilfield. SPE 159835 presented at the SPE Annual Technical Conference and Exhibition held in San Antonio， Texas， USA， 8-10 October.

　[17]Saputelli. L， et al. 2012. State of the Art of Artificial Intelligence and Predictive Analytics in the E&P Industry：A Technology Survey. SPE 150314 presented at the 2012 Intelligent Energy conference， Utrecht， the Netherlands.

　[18]Zikopoulos， P.， et al. 2013. Harnessing the power of Big Data. McGraw-Hill， New York.

　[19]BaodongJia， TomaszWiktoWlodarczyk， ChunmingRong， Performance Considerations of Data Acquisition in Hadoop System， Department of Electrical Engineering and Computer Science， University of Stavanger， Norway.

　[20]科学网，http：///blog-39263-658013.html，2013.04.08.

相关关键词： 浅谈大数据发展趋势