科研動(dòng)態(tài)
基于深度強(qiáng)化學(xué)習(xí)的深水隔水管?chē)娚溲b置參數(shù)多目標(biāo)優(yōu)化框架
中文題目：基于深度強(qiáng)化學(xué)習(xí)的深水隔水管?chē)娚溲b置參數(shù)多目標(biāo)優(yōu)化框架
論文題目：Multi-objective optimization framework for deepwater riser jetting installation parameters using deep reinforcement learning
錄用期刊/會(huì)議：Ocean Engineering (中科院SCI 2區(qū)，JCR Q1)
原文DOI：https://doi.org/10.1016/j.oceaneng.2024.118398
錄用/見(jiàn)刊時(shí)間：309卷，第1部分，2024年10月1日
作者列表：
1） 宋 宇 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 自動(dòng)化系教師
2） 宋澤華 中國(guó)石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 人工智能專(zhuān)業(yè) 碩 22
3） 楊 進(jìn) 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 海洋油氣工程系教師
4） 李 磊 中國(guó)石油大學(xué)（北京）安全與海洋工程學(xué)院 海洋油氣工程系教師
摘要：
海上油氣勘探中導(dǎo)管套管?chē)娚鋮?shù)優(yōu)化是保證水下井口可靠性的關(guān)鍵。由于噴射鉆井和靜置階段的復(fù)雜性特點(diǎn)，傳統(tǒng)模型往往難以應(yīng)對(duì)。引入了利用深度強(qiáng)化學(xué)習(xí)對(duì)噴射參數(shù)進(jìn)行綜合優(yōu)化的新方法，以提高深海鉆井效率。該方法基于正交模擬實(shí)驗(yàn)，形成系統(tǒng)的數(shù)據(jù)集。經(jīng)過(guò)特征提取和參數(shù)縮放預(yù)處理，將安裝參數(shù)與噴射和靜置時(shí)間聯(lián)系起來(lái)。采用基于CAPQL多目標(biāo)強(qiáng)化學(xué)習(xí)框架，建立了同時(shí)優(yōu)化噴射時(shí)間和靜置時(shí)間的馬爾可夫決策過(guò)程環(huán)境。將該框架應(yīng)用于選定的深海油氣井驗(yàn)證，結(jié)果表明，噴射鉆井時(shí)間(平均46.18%)和浸泡時(shí)間(22.57%)顯著減少，預(yù)測(cè)模型的平均擬合率達(dá)到99.32%。此發(fā)現(xiàn)為套管?chē)娚涮峁┝艘环N創(chuàng)新方法，實(shí)現(xiàn)更高效安全的淺層建井，并有可能重新定義行業(yè)標(biāo)準(zhǔn)。
背景與動(dòng)機(jī):
在深海鉆井作業(yè)中，表層導(dǎo)管?chē)娚浒惭b時(shí)間的控制和優(yōu)化問(wèn)題引發(fā)了廣泛關(guān)注。導(dǎo)管?chē)娚浒惭b時(shí)間，由下入階段的導(dǎo)管下入時(shí)間與靜置階段的導(dǎo)管靜置時(shí)間兩部分構(gòu)成，其決定了整個(gè)安裝過(guò)程的效率和成本。然而，這兩個(gè)階段的時(shí)間長(zhǎng)度由多種噴射參數(shù)共同影響，其復(fù)雜度使得傳統(tǒng)的優(yōu)化方法常常無(wú)法給出滿(mǎn)意的解決方案。因此，如何高效、準(zhǔn)確地優(yōu)化導(dǎo)管?chē)娚浒惭b時(shí)間，是深海鉆井工作中亟待解決的重要問(wèn)題。
設(shè)計(jì)與實(shí)現(xiàn):
基于正交模擬實(shí)驗(yàn)，形成系統(tǒng)的數(shù)據(jù)集。經(jīng)過(guò)特征提取和參數(shù)縮放預(yù)處理，將安裝參數(shù)與噴射和靜置時(shí)間聯(lián)系起來(lái)。采用基于CAPQL多目標(biāo)強(qiáng)化學(xué)習(xí)框架，建立了同時(shí)優(yōu)化噴射時(shí)間和靜置時(shí)間的馬爾可夫決策過(guò)程環(huán)境。將該框架應(yīng)用于選定的深海油氣井驗(yàn)證。
主要內(nèi)容:
設(shè)置導(dǎo)管?chē)娚浒惭b正交物理模擬實(shí)驗(yàn)，建立鉆井壓力、流量、鉆頭延伸和鉆頭與套管尺寸比等參數(shù)的數(shù)據(jù)集。詳細(xì)記錄了鉆井和靜置時(shí)間，經(jīng)過(guò)特征提取和參數(shù)縮放預(yù)處理，將安裝參數(shù)與噴射和靜置時(shí)間聯(lián)系起來(lái)，分析各鉆井參數(shù)與地層參數(shù)對(duì)鉆井時(shí)間的影響規(guī)律。
圖1 導(dǎo)管?chē)娚溷@井實(shí)驗(yàn)原理圖
圖2 導(dǎo)管?chē)娚溷@井參數(shù)的影響規(guī)律
引入了一種基于全連接神經(jīng)網(wǎng)絡(luò)算法的導(dǎo)管?chē)娚浒惭b時(shí)間預(yù)測(cè)模型?？紤]到輸入特征和可用訓(xùn)練數(shù)據(jù)的特點(diǎn)，考慮捕捉輸入特征和輸出特征之間復(fù)雜的映射關(guān)系，選擇全連接神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)模型。添加Dropout層以減輕過(guò)擬合，通過(guò)粒子群優(yōu)化確定模型的初始權(quán)值，以避免局部最優(yōu)，使用網(wǎng)格搜索方法對(duì)學(xué)習(xí)率、隱藏層神經(jīng)元數(shù)量和輟學(xué)率等超參數(shù)進(jìn)行了優(yōu)化。在此模型的基礎(chǔ)上，建立了馬爾可夫決策過(guò)程環(huán)境?？紤]到噴射鉆井時(shí)間和靜置時(shí)間的內(nèi)在矛盾，引入了帕累托邊界的概念。
圖3 預(yù)測(cè)模型的訓(xùn)練、驗(yàn)證和測(cè)試流程圖
采用基于CAPQL多目標(biāo)強(qiáng)化學(xué)習(xí)框架，建立了同時(shí)優(yōu)化噴射時(shí)間和靜置時(shí)間的馬爾可夫決策過(guò)程環(huán)境。將該框架應(yīng)用于選定的深海油氣井驗(yàn)證。
圖4 噴射鉆進(jìn)時(shí)間隨迭代的變化
圖5 靜置時(shí)間隨迭代的變化
結(jié)論:
通過(guò)深水地面導(dǎo)管套管?chē)娚浒惭b模擬實(shí)驗(yàn)，獲得了導(dǎo)管套管?chē)娚浒惭b過(guò)程的大量數(shù)據(jù)，并將其匯編成樣本集。在此基礎(chǔ)上，建立了導(dǎo)管?chē)娚浒惭b時(shí)間的預(yù)測(cè)模型。該模型能夠準(zhǔn)確、高效地模擬導(dǎo)管?chē)娚浒惭b參數(shù)、噴射鉆井參數(shù)、沉降之間的映射規(guī)律。
從導(dǎo)管?chē)娚浒惭b時(shí)間預(yù)測(cè)模型出發(fā)，考慮到導(dǎo)管?chē)娚浒惭b參數(shù)的實(shí)際工程約束條件，探討了安裝參數(shù)對(duì)安裝時(shí)間的影響機(jī)理，為優(yōu)化導(dǎo)管?chē)娚浒惭b參數(shù)奠定了理論基礎(chǔ)。
為實(shí)現(xiàn)導(dǎo)管?chē)娚浒惭b時(shí)間的最小化，采用多目標(biāo)深度強(qiáng)化學(xué)習(xí)算法對(duì)導(dǎo)管?chē)娚浒惭b參數(shù)進(jìn)行優(yōu)化設(shè)計(jì)。并形成了一套結(jié)構(gòu)化的參數(shù)優(yōu)化設(shè)計(jì)流程。通過(guò)在特定區(qū)塊的目標(biāo)井下進(jìn)行實(shí)驗(yàn)驗(yàn)證，建立了優(yōu)化導(dǎo)管?chē)娚鋮?shù)的Pareto邊界。在Pareto前沿地區(qū)，證明了優(yōu)化縮短套管射流安裝時(shí)間的潛力。更重要的是該方法在優(yōu)化導(dǎo)管安裝時(shí)間方面適用于不同的土體環(huán)境。
Fig. Pareto Frontier upon Optimization Completion
Fig. Comparison of Jetting Installation Parameters Before and After Optimization.
作者簡(jiǎn)介:
宋宇，中國(guó)石油大學(xué)（北京）信息科學(xué)與工程/人工智能學(xué)院 自動(dòng)化系教師，主要研究方向是海洋油氣鉆井、智能控制和鉆井感知相關(guān)的研究工作?，F(xiàn)主持國(guó)家自然科學(xué)基金青年項(xiàng)目、重點(diǎn)研發(fā)計(jì)劃子課題等國(guó)家級(jí)課題5項(xiàng)，獨(dú)立承擔(dān)十余項(xiàng)企業(yè)橫向項(xiàng)目，參研973、國(guó)家自然科學(xué)重點(diǎn)項(xiàng)目、聯(lián)合基金項(xiàng)目、企業(yè)項(xiàng)目超30項(xiàng)。在JPSE、OE、FGCS、中國(guó)海上油氣、石油鉆采工藝等國(guó)內(nèi)外主流期刊發(fā)表論文20余篇。