<code id="gkkii"><object id="gkkii"></object></code>
<bdo id="gkkii"><noscript id="gkkii"></noscript></bdo>
  • <menu id="gkkii"><center id="gkkii"></center></menu>
  • 優勝從選擇開始,我們是您省心的選擇!—— 文閱期刊網
    幫助中心
    期刊發表
    您的位置: 主頁 > 論文中心 > 電子論文 > 正文

    基于動態視覺傳感器的無人機目標檢測與避障

    作者:文閱期刊網 來源:文閱編輯中心 日期:2022-05-26 16:05人氣:
    摘    要:針對無人機在動態環境中感知動態目標與躲避高速動態障礙物,設計了基于動態視覺傳感器的目標檢測與避障算法。設計了濾波方法和運動補償算法,濾除事件流中背景噪聲和熱點噪聲以及由于相機自身運動產生的冗余事件。設計了一種融合事件圖像和RGB圖像的動態目標融合檢測算法,保證了檢測的可靠性。根據檢測結果對目標運動軌跡進行估計,結合障礙物運動特點和無人機動力學約束改進了速度障礙法躲避動態障礙物。大量仿真試驗、手持試驗及飛行試驗驗證了所提算法的可行性。
     
    關鍵詞:事件相機;事件濾波;運動補償;融合檢測;速度障礙法;
     
    Object detection and obstacle avoidance based on dynamic vision sensor for UAv
    CAl Zhihao CHEN Wenjun ZHAO Jiang WANG Yingxun
    School of Automation Science and Electrical Engineering, Beihang University
     
    Abstract:
    Dodging fast-moving objects in flight is a huge challenge for unmanned aerial vehicles(UAVs). In order to detect and avoid high-speed dynamic obstacles in dynamic environment, an algorithm of target detection and obstacle avoidance based on dynamic vision sensor was designed. Firstly, we propose an event filter method and to filter the background noise, hot noise, and the method preserves the asynchrony of events. Motion compensation algorithm is designed to filter redundant events caused by the camera's own motion in the event stream. For dynamic object detection, a fusion detection algorithm of event image and RGB image is designed, it has higher robustness in high dynamic environment. Finally, the target trajectory was estimated according to the detection results, and we improved the velocity obstacle method to avoid dynamic obstacles combined with the characteristics of obstacles movement and UAV dynamic constraints. A large number of simulation tests, hand-held tests and flight tests are carried out to verify the feasibility of the algorithm.
     
    Keyword:
    event-based camera; event filter; motion compensation; fusion detection; velocity obstacle;
    無人機因其小巧的結構以及多變的操作在復雜場景以及困難任務中有著廣泛的應用。但是在動態環境中感知高速運動物體、躲避高速動態障礙物,仍然是需要攻破的難題。由于無人機承重能力和能源供應能力有限,攜帶如雷達、聲納、激光等大重量、高功耗的傳感器會大大減少飛機飛行時間,以相機為主要傳感器的感知方法已經成為一種主要的發展趨勢[1]。
     
    當前主流的相機感知方法還存在許多限制,比如,RGB相機(frame-based camera)在場景光照不足的情況以及相機高速運動的情況下,產生運動模糊。Falanga[2]指出在躲避相對速度較大的障礙物時,需要減小感知延遲,這表明所采用的傳感器具有更高的時間分辨率。
     
    事件相機(event-based camera)是一種新型的仿生視覺傳感器[3],如動態視覺傳感器(dynamic vision sensor,DVS),事件相機與RGB相機不同,輸出像素級亮度變化而不是標準強度幀。每個事件ei表示為:ei=[x,y,t,p],x和y分別為觸發的事件在圖像坐標系的位置,t為事件觸發時刻,p為事件的極性[4],事件相機的輸出是以微秒時間分辨率的事件流(event stream)Estream[5],相當于以每秒數千幀的速度運行的傳統視覺傳感器,但是數據量要小得多。由于具有局部處理功能,事件相機整體功率、數據存儲和計算性能要求也大大降低,并且動態范圍相比增加了數個數量級。事件相機不會受到運動模糊的影響,并且具有非常高的時間動態范圍,這使得它們能夠在高速運動期間或以高動態范圍為特征的場景中提供可靠的視覺信息。
     
    但是事件相機通常存在感光閾值C造成的噪聲、背景噪聲(background activity)[6]、熱點噪聲(hot pixel)[7]。需要根據噪聲特點進行濾波,方便后續事件的處理。單個事件沒有任何意義,需要進行事件的數據關聯,可通過事件可視化進行關聯。事件的可視化方法常用的有累積固定時間窗口[8]、累積固定事件數量[8]及基于生命周期[9]的方法;谏芷赱9]的方法,能有效地抑制加速梯度引起的運動模糊,但是計算量較大,不便于部署在無人機機載設備上。
     
    運動補償[10](motion compensation)就是在圖像中不僅保留事件的位置,還要構建運動模型,假設事件是由場景中移動的物體邊緣觸發產生,通過時間信息對事件進行2D變換,使圖像的對比度達到最大,從而得到邊緣銳化的圖像。文獻[10]使用了光流的方法獲取環境中深度信息,對事件圖像進行運動補償,文獻[11]是通過深度相機直接獲取深度信息進行運動補償,減小了計算量。
     
    文獻[2]中指出,機器人在高動態環境中飛行時,機器人與障礙物之間的相對速度往往很大,相對速度越大,感知延遲(指感知環境并處理捕獲的數據生成控制指令所需要的時間)的作用就越關鍵。Falanga等[12]在文獻[2]中強調的感知延遲問題的基礎上,使用改進的人工勢場法計算飛機每個事件步長的排斥力躲避了相對速度約為10m/s的動態障礙物。Sanket等[13]提出了一種事件相機的基于深度學習的動態避障方法,提出了組合而成的事件相機避障網絡EVDodgeNet。文獻[11]通過預測動態障礙物的運動軌跡躲避了7~12m/s的動態障礙物。
     
    當前國內外研究者針對動態視覺傳感器的目標檢測與避障方法做出了一定的探索。但是存在部分改進空間:①在算法能夠在無人機機載設備上實時運行的前提下,進一步提高目標檢測的穩定性[11,12,13]。②簡化無人機避障控制,減少無人機避障控制指令[12]。為了改進以上問題,本文研究了基于動態視覺傳感器的無人機目標檢測與避障方法。本文的主要創新點如下:
     
    1)設計了一種針對事件流的事件濾波方法,可以濾除背景噪聲和熱點噪聲,并保持事件的異步性。
     
    2)提出了一種融合事件圖像和RGB圖像的動態目標融合檢測方法,在高動態場景中進行了僅依靠RGB相機和事件相機檢測試驗對比,體現了融合檢測方法的魯棒性。
     
    3)根據無人機動力學模型和視場角約束改進了速度障礙法,求解出動態場景下的最優期望速度。并對比了文獻[12]采用的人工勢場法,在高速度動態障礙物的時該方法具有較穩定的效果。
     
    4)搭載了飛機平臺進行了實際飛行驗證,成功躲避高速運動障礙物,驗證了算法的可行性與在飛機平臺上的實時性。
     
    1 算法整體框架
    本文主要針對高動態場景中,動態障礙物對四旋翼無人機飛行安全造成威脅的情況,躲避動態障礙物,即實現圖1的躲避高速運動障礙物的場景。
     
    為了實現圖1的任務場景,設計了圖2的算法框架,主要包括事件預處理、高動態場景目標檢測和動態避障三部分。
     
    1)事件預處理。設計的濾波算法對事件流處理,濾除事件的背景噪聲和熱點噪聲。采用事件數量和固定時間雙閾值的形式可視化事件,生成事件圖像。根據IMU、深度信息以及無人機的里程計信息進行運動補償,優化事件圖像。
     
    2)高動態場景目標檢測。對事件圖像進行動態目標分割獲取檢測結果,RGB相機的圖像使用YOLO-tiny獲取檢測結果,通過置信度進行融合,獲得最終檢測結果。
     
    3)動態避障。為了提高障礙物位置估計的精度,融合了檢測結果和深度圖像獲得深度信息,并通過最小圍橢球體體積(MVEE)將障礙物擬合為橢球,獲得相機坐標系下的位置。通過Kalman濾波估計障礙物運動速度。最后根據任務場景特點改進了速度障礙(velocity obstacle,VO)法,在優化問題中,考慮了無人機的視場角約束和動力學模型。獲取期望速度躲避動態障礙物。
     
    2 事件流濾波及可視化算法
    2.1 事件濾波
    在一定的時空內,背景噪聲事件數量小于某一閾值的概率較高,由環境中物體運動或者光強變化引起的真實事件數大于該閾值的概率較高。一個事件是真實事件或者噪聲事件的概率需要一段事件的事件流來計算。對于待處理的事件e0(x0,y0,t0,p0),使用二維高斯核:
     
    G(d,t)=12πσ1σ2e−12((Δdi)2σ21+(Δti)2σ22)(1)
     
    式中:Δdi=(xi−x0)2+(yi−y0)2−−−−−−−−−−−−−−−−−−√為該事件與其他事件的空間距離,Δti=|ti−t0|為該事件與其他事件的時間戳距離。
     
    將事件流用二維高斯核進行卷積,得到該事件的真實事件概率。
     
    Pe0=Estream(d,t)⊗G(d,t)(2)
     
    Pe0=∑i=1N12πσ1σ2e−12((Δdi)2σ21+(Δti)2σ22)(3)
     
    式中:⊗表示卷積運算,σ1、σ2是事件間的空間距離Δd及時間距離Δt的標準差,與事件相機分辨率和事件流的時間間隔相關。
     
    如式(4)所示,當事件概率小于閾值λ時,認為該事件為背景事件;當事件數大于閾值λ時,認為該事件為真實事件。
     
    ei={{xi,yi,ti,pi},null,Pei≥λPei<λ(4)
     
    2.2 事件圖像可視化方法
    本文使用事件數據數量及時間閾值雙限制的方式進行累計得到事件圖像。如式(5)所示,這樣產生的事件圖像既可以保證高時間分辨率又可以使事件中具有足夠的信息進一步處理。
     
    T=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∫tendtstartEstream(tcur)dtcur,∑0Nei,∑Δtei<N∑Δtei>N(5)
     
    2.3 運動補償
    首先將從t0開始某一個很短時間間隔Δt的事件存儲為事件流Et0。利用IMU數據計算時間Δt內,在世界坐標系下的平均的角速度ω¯¯和相機坐標系到世界坐標系的旋轉矩陣WRC。
     
    旋轉補償的主要目的是濾除由于相機自身旋轉所產生的事件。根據獲得的平均角速度ω¯¯和羅德里格斯旋轉公式(Rodrigues’ Rotation Formula)如下:
     
    Re=cosθI+(1−cosθ)nnT+sinθn^(6)
     
    式中:^為向量到反對稱矩陣的轉換符,Re為需求得的事件相機旋轉矩陣,n為一個單位長度的旋轉軸,旋轉角度θ=ω¯¯(t−t0),t是當前事件的時間戳。
     
    由于事件數量較多,選擇每一毫秒計算一次相機旋轉矩陣。針對該時間段的事件進行旋轉補償(x,y,t,p)→(xr,yr,t0,p)。即保持事件的極性p不變,將原來的像素坐標(x,y)轉換為旋轉后像素坐標(xr,yr),并且將時間戳歸一化到t0時刻。運動補償后的事件依舊是像素坐標系下,要把事件通過事件相機的內參矩陣轉換到相機坐標系下,如下:
     
    Zc⎡⎣⎢xy1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥⎥(7)
     
    通過相機坐標系和世界坐標系的平移矩陣WTE,將事件在相機坐標系XE轉換到世界坐標系下,然后乘以平移補償矩陣,將事件重新轉移到相機坐標系下,完成平移補償?梢杂墒(8)表示上述平移補償過程。
     
    X′E=WT−1ETt−t0WTEXE(8)
     
    式中:X′E表示平移運動補償后事件在相機坐標系下的坐標,WT−1E表示由世界坐標系轉換到相機坐標系的平移矩陣。Tt−t0為平移補償矩陣,表示從t0時刻開始到t時間段內,相機在世界坐標系下的平移。
     
    Tt−t0=[I0Tv⋅(t−t0)1](9)
     
    式中:v為無人機里程計獲得的線速度信息。
     
    3 融合事件與RGB圖像動態目標檢測
    3.1基于事件圖像的檢測
    在運動補償之后,需要對事件圖像進行處理,通過均值濾波去除椒鹽噪聲。利用動態障礙物具有更高的平均時間戳的特性,檢測動態障礙物。通過形態學操作將事件分成不同對象。每個像素點{i,j}∈T,Ti,j都和一個評價分數ρ(i,j)∈[−1,1]相關聯,這樣能夠定量的表示每個動態障礙物與背景的區別,用評價分數ρ區分是動態障礙物Ok還是背景B。
     
    ρ(i,j)=Ti,j−MΔt(10)
     
    B={i,j|ρ(i,j)≤λ}O={i,j|ρ(i,j)>λ}(11)
     
    式中:M表示該事件圖像的平均時間戳,O=O1∪…On表示動態障礙物集合,n為獨立動態障礙物的個數,λ為預定義的每個動態障礙物的最小置信值。為了檢測獨立的動態障礙物,利用簡單的形態學操作(碰撞)對事件圖像像素進行分組。針對每個動態障礙物生成一個檢測框,包括中心點坐標COk=(x,y)和邊長LOk=(w,h),w和h分別表示檢測框的寬和高。
     
    3.2融合檢測
    由于事件相機工作原理限制,事件相機不能較好的檢測靜態目標。當相機或者目標高速運動的時候,基于事件相機動態目標檢測效果會優于基于普通相機的一步法(one step)機動目標檢測效果;而在相機或者目標運動非常緩慢的時候,基于普通相機的一步法機動目標檢測效果會優于基于事件相機的動態目標檢測效果,為了實現在高速運動以及緩慢運動時都具有良好的檢測效果,提出根據置信度將事件相機的檢測結果和普通相機的檢測結果進行融合。
     
    如圖3所示,基于RGB相機的目標檢測采用一步法的檢測算法,下面簡稱為FD(frame-based detection),采用了YOLO-tiny[14]的網絡框架,檢測流程更加簡化,檢測速度會大幅度的提升,適合于無人機的高速目標檢測,其輸出包括置信度Pframe和檢測框;谑录鄼C的動態目標檢測,下面簡稱為ED(event-based detection),由事件相機輸出的事件流,經過事件濾波,進行運動補償,通過2.1節所述方法完成動態目標檢測。
     
    在融合前需要解決兩種檢測通道的時間同步問題,通常RGB相機的輸出幀速度較低,約為25Hz(時間間隔為40ms),所以FD的頻率也約為25Hz。由于基于事件數據數量事件圖像表示方法的頻率不確定,所以在融合檢測時ED采用時間閾值的方法,一般取20ms或10ms。當ED取20ms時,FD與ED的第一幀對齊,當ED取10ms時,FD與ED的第二幀對齊,如圖4中紅色框所示。
     
    由于ED的檢測過程沒有置信度的輸出,并且RGB圖像的目標特征更豐富,因此本文認為在無人機與目標相對速度較小時,RGB圖像的檢測效果更可靠,相應的得到置信度Pframe越高;在無人機與目標相對速度較大時,RGB圖像會出現運動模糊的情況,相應的置信度Pframe越小,ED的檢測結果更可靠,因此融合策略如下:
     
    式中:Bbox表示檢測框,Pthreshold為設計參數,表示置信度閾值,本文采用的是0.5。即當Pframe≥Pthreshold將FD檢測結果作為融合檢測的輸出,當Pframe<Pthreshold將ED檢測結果作為融合檢測的輸出。
     
    4 基于速度障礙法的動態避障算法
    4.1動態障礙物的位置與速度估計
    若已知當地重力加速度gW,并且假設球在過程中自由落體運動,忽略球在過程中受到的空氣阻力。這樣根據初始位置pWbt0和初始速度vWbt0就可以估計出球的運動軌跡。所以球的運動軌跡可以表示為
     
    pWbt0+vWbt0Δt+12gWΔt2=pWet+dbtRWetubt(13)
     
    式中:Δt=t−t0為第一次檢測到球到當前時間的時間差,pWet為t時刻事件相機坐標原點在世界坐標中的位置,RWet為此時事件相機坐標系相對于世界坐標系的旋轉矩陣,dbt為t時刻球到相機的深度信息,ubt為t時刻像素坐標系下球的坐標。
     
    1)深度估計
     
    動態障礙物的位置的確定需要深度信息,依靠單目相機測量深度一般需要目標的真實大小或者需要連續兩幀以及兩幀之間的平移與旋轉運動信息,通常存在較大的擾動,于是提出一種融合檢測結果與深度相機的深度估計方法。
     
    根據相機內外參,可得事件相機像素到深度相機像素點的映射關系,如下:
     
    ⎡⎣⎢uv1⎤⎦⎥D=KDER−1DK−1E⎡⎣⎢ZCEZCD⎡⎣⎢uv1⎤⎦⎥E−KEETD⎤⎦⎥(14)
     
    式中:下標E表示事件相機參數,下標D表示深度相機參數,ZCE表示事件相機坐標系下深度信息,ZCD表示深度相機坐標系下深度信息。K、ER−1D和ETD分別為相機內參矩陣、事件相機坐標系相對于深度相機坐標系的旋轉矩陣與平移矩陣。
     
    如圖5所示,事件相機和深度相機上下放置,由剛體設備固定,所以事件相機相對深度相機的旋轉矩陣ERD和偏移矩陣ETD可以通過相機間外參標定確定。
     
    2)速度估計
     
    在確定位置信息之后,需要對速度做出估計,使用了Kalman濾波[15],因為對障礙物的位置信息的確定是有噪聲的,尤其是障礙物距離無人機較遠時;其次由于速度障礙法對速度的要求十分準確,需要確定生成的速度障礙,需要對速度做出較為準確的估計。把障礙物的位置信息作為輸入量,并且引入時間延遲(Kalman是低通濾波器,通常時間延遲低于0.3ms),以障礙物的位置和速度作為輸出量。
     
    3)動態障礙物表示
     
    用橢球來表示障礙物,因為橢球能很好地表示位置和大小的期望高斯誤差[16]。從成像平面的事件圖像數據構建世界參考系中的障礙物橢球。用迭代法在六個投影點周圍擬合出一個最小體積橢球。
     
    mininumAsubjecttologdet(A−1)(pi−c)TA(pi−c)≤1i=1,…,mA>0(15)
     
    式中:A為n×n的橢圓方程的中心形式的矩陣,即滿足(x−c)TA(x−c)=1;c為n維的向量表示橢圓的中心;pi表示矩陣P的第i個向量,矩陣P為包含m個點的n維數據矩陣。
     
    上述方法直接針對累積的事件圖像檢測框內的事件進行擬合。根據擬合結果和深度信息以及深度統計的誤差,將障礙物在相機坐標系下進行表示,算法1所示。
     
    根據擬合的結果,確定橢球的兩個軸長,再結合深度信息,以及深度信息的誤差δd確定橢球的另外一個軸長(即2δd),根據式(7)獲得動態障礙物在相機坐標系下的表示,即動態障礙物與相對的相對位置。
     
    算法1 球的擬合與表示算法。
     
    輸入:事件圖像、檢測框、深度信息。
     
    輸出:相機坐標系的坐標、橢球的各軸長。
     
    Begin
     
    根據檢測和事件圖像,確定數據矩陣P={p1,p2,…,pm}
     
    求解優化函數式(15)
     
    根據相機內參與深度信息確定障礙物在相機坐標系的坐標與橢球的軸長
     
    End
     
    4.2考慮無人機動力學約束的速度障礙法
    傳統的速度障礙法[17]僅僅考慮了當前控制周期內可實現的速度集合進行的規劃,沒有充分考慮到碰撞前的無人機與障礙物間的距離和時間的影響,沒有考慮無人機動力學約束下可達速度空間的合理選擇問題,于是需要對傳統的速度障礙法進行改進。
     
    1)傳統速度障礙法改進
     
    如圖6所示,首先對于運動的障礙物B,針對避障前的檢測,考慮到碰撞前的無人機和障礙物之間的距離和時間約束,來改變障礙物的半徑RB,如下:
     
    RˆB=(h(λt)+h(λd))RB(16)
     
    式中:RˆB表示更新后的障礙物半徑,λt=tcT,λd=disABLsafe,tc=disABVA,B,其中tc稱為碰撞時間,disAB表示無人機和障礙物之間的距離,VA,B表示無人機和障礙物之間的相對速度,Lsafe表示無人機飛行過程中的躲避動態障礙物的安全距離。h(*)為權重函數,當h(λt)+h(λd)>1時,使h(λt)+h(λd)=1,保證障礙物半徑不被過度放大。
     
    根據論文[2]中提到的,為了使無人機在高動態環境中對任務的較快響應,盡量使得無人機不改變縱向速度,即無人機前進方向速度大小不發生改變。如圖7所示,確定安全距離Lsafe。圖中e1方向為縱向運動方向,即速度VA不可改變方向。s為無人機的最大檢測距離。感知延遲記為τdelay,表示當障礙物進入感知區域的時間與無人機開始執行避障動作時刻之間的間隔。安全距離Lsafe即為在e2方向完成橫向運動的時間以及感知延遲時間段內,無人機在e1方向上最少飛行的距離。
     
    Lsafe={l,l<ss,l≥s(17)
     
    式中:l=VA(t+τdelay)無人機在e1方向上最少飛行的距離,t=2a2(RA+RB)−−−−−−−−−−−√表示在e2方向完成橫向運動的時間,RA為無人機的安全半徑,a2為e2方向上無人機的加速度。
     
    最后針對無人機動力學約束下的可達速度空間,根據實際的無人機模型,確定無人機在Δt范圍內,能夠達到的速度變化和角度變化。在一個控制周期T內,速度變化的最大值和最小值分別為ΔVAmax、ΔVAmin,角度變化的最大值和最小值為ΔαAmax、ΔαAmin。
     
    2)最優避障策略設計
     
    ①沿lMO或lNO。
     
    為了保證無人機的安全飛行,可以使期望相對速度沿著相對碰撞堆的邊緣,即此刻的無人機期望速度為vmax∠lMO或vmax∠lNO,且保證使得無人機速度改變最小。
     
    ②采用優化策略。
     
    在無人機高動態飛行中,應盡快的響應任務,在保證無人機飛行安全的前提下,使得無人機的速度改變最小,偏離期望速度最小,所示設計的優化目標函數為J(ΔV),其中障礙物速度VB已抵消,Vtarget表示無人機的期望速度(朝向目標點方向),Vcur表示無人機當前的飛行速度。
     
    mininumAsubjecttoVtarget−(Vcur+ΔV)]2+λ⋅ΔV2ΔP⋅Vcur+ΔV|Vcur+ΔV|+(RA+RB)2−ΔP2≤0−τ⋅g≤ΔV≤τ⋅g(18)
     
    約束條件如式(18)所示,其中第一個約束表示相對速度的方向要在錐面lMOAlNO外面,其中ΔP⋅Vcur+ΔV|Vcur+ΔV|表示相對位置在相對速度方向的投影。第一個約束等號成立時表示,此時的速度方向恰好落于射線lMO或lNO上。第二個約束表示無人機速度的變化受無人機動力學約束,其中τ為無人機推重比,g為1×3矢量,表示當地重力加速大小的向量。
     
    5 試驗與分析
    本文提出的融合事件和RGB圖像的融合檢測算法具有一定魯棒性,本文根據無人機動力學約束改進的速度障礙法具備躲避高速運動的動態障礙物。為了驗證算法的有效性和性能,進行了仿真試驗和手持試驗,并設計無人機平臺進行了飛行試驗。
     
    5.1仿真試驗與手持試驗
    1)動態障礙物檢測與定位
     
    根據1.1節提出的事件流濾波方法,使用DAVIS 346 Color事件相機對一個碳素桿進行記錄其左右運動產生的事件。如圖8所示,濾波前時空圖中沿時間軸一直存在的事件,為熱點噪聲,無規則散落在時空中的為背景噪聲。本文濾波算法可以較好的濾除背景噪聲和熱點噪聲。當前沒有統一的濾波評價標準,因為無法分清某一事件為真實事件還是噪聲事件,時空圖的方式能較直觀的反應濾波效果,保留了有關聯的事件,同時保留了事件的異步性。
     
    使用DAVIS 346 color相機,以累積事件數量N=15000和時間間隔20ms為例,進行運動補償后的圖像與運動補償前的圖像對比如圖9所示,從左到右依次為傳統圖像、運動補償前的事件累積圖像、運動補償后的事件圖像。
     
    在目標由運動到靜止,過程中關閉照明再打開,過程中環境的光照強度由145Lux到15Lux,再變為145Lux。使用DAVIS 346 color相機,同時記錄RGB圖像和事件流進行目標檢測。試驗中整過程為17s,RGB圖像的頻率為25Hz,事件圖像的頻率為50Hz,融合檢測的設計參數Pthreshold取0.6。試驗結果如圖10所示,圖中融合結果的檢測框顏色表示此結果來源不同(紅色表示來源于事件圖像檢測,藍色表示來源于RGB圖像,綠色表示同時來源于兩者),檢測結果對比如表1所示(統計時以RGB圖像頻率為基準,總計431幀,其中黑暗環境占104幀、目標靜止時間占32幀)。融合檢測結果相比于僅依靠RGB圖像檢測結果相比,檢測率提高了28.4%,相比于僅依靠事件圖像檢測結果相比,檢測率提高了9.1%。
     
    根據檢測結果的檢測框,將其長寬進行縮放(試驗中縮放為原來的1/2),并在新的檢測框中利用直方圖進行統計,得出目標的深度信息。如圖11所示為目標拋物運動時融合測距試驗圖。如圖12所示,為目標在平行光軸運動時,對比了PnP、基于針孔相機模型測距和融合測距結果,統計結果如表2所示,融合測距結果無論在最大誤差還是平均誤差均為最小。
     
    2)避障仿真
     
    按照真實試驗飛機平臺參數設計,試驗參數如表3所示?紤]視場角和傳感器檢測距離,設計的無人機高動態算法如算法2所示。
     
    算法2 無人機高動態避障算法。
     
    輸入:無人機運動狀態SA(t)、障礙物運動狀態SB(t)。
     
    輸出:下一時刻的目標速度VB。
     
    Begin
     
    If disA,B<s and ∠(PB−PA,VA)<α then
     
    確定絕對碰撞堆ACC與相對速度VA,B
     
    If VA,B∈ACC then
     
    由式(18)求得期望速度變化ΔV
     
    Vcur←Vcur+ΔV
     
    End if
     
    End if
     
    End
     
    在二維仿真中設置初始位置(0,0),目標位置為(0,15),在(0,8)處拋擲動態障礙物,以圖7盡量不改變e1方向的速度,以飛行時間為代價,進行避障仿真,并對比了文獻[12]的人工勢場法。仿真結果如圖13所示,結果對比如表4所示。
     
    根據仿真結果本文提出的方法在躲避動態障礙物時的路徑優于文獻[12]的避障方法,而且不要考慮斥力和吸引力的設計問題以及無人機的偏航角控制問題。
     
    在三維仿真中設置初始位置(0,0,0)、目標位置(10,15,2),并在沿途中設置兩個障礙物,障礙物水平速度為9.6m/s,并做自由落體運動,如圖14所示。
     
    5.2實際飛行試驗
    1)試驗系統架構
     
    如圖15所示,無人機為軸距330mm的四旋翼無人機,搭載CUAV V5+飛控、DJI Manifold-2G計算平臺、Davis346 Color事件相機、Intel Realsense D435i深度相機以及主動捕捉系統定位球用于記錄真實數據。軟件平臺基于機器人操作系統(Robot Operating System,ROS)用于各模塊間的信息通信。
     
    2)試驗結果
     
    由于無人機搭載的DJI Manifold-2G平臺計算有限,進行飛行試驗時,未采用優化的避障策略,而是采用的最優避障策略為策略①。
     
    如圖16所示進行實際飛行試驗,無人機懸停,向無人機拋擲籃球,籃球的水平速度為7.018m/s,該過程的速度變化曲線與滾轉角裱花曲線分別如圖17和圖18所示,過程中無人機最大速度變化為3.267m/s,表明能夠有效的躲避動態障礙物。
     
    6 結 論
    本文設計的基于動態視覺傳感器無人機目標檢測與避障算法能夠較好的在高動態場景下完成無人機的目標檢測與躲避速度較高的動態障礙物。
     
    1)文中提出的事件濾波算法能夠有效的濾除熱點噪聲和背景噪聲,并保持事件的異步性。
     
    2)融合檢測算法在動態場景中優于僅依靠RGB相機的目標檢測和僅依靠事件相機的目標檢測,具有一定的魯棒性。
     
    3)改進的速度障礙法能有效的躲避高速障礙物,在時間代價上優于基于人工勢場的避障方法。
     
    但依舊有很大的改進空間:
     
    1)直接使用事件進行目標檢測,利用事件的異步性完成目標檢測。
     
    2)設計端到端的系統框架,減少各模塊之間通訊造成的感知延遲。
     
    參考文獻
     
    [1] 王亭亭, 蔡志浩, 王英勛. 無人機室內視覺/慣導組合導航方法[J].北京航空航天大學學報, 2018, 44(1):11.
    [2] FALANGA D, KIM S, SCARAMUZZA D. How fast is too fast? The role of perception latency in high-speed sense and avoid[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1884-1891.
    [3] DELBRUCK T. Neuromorophic vision sensing and psrocessing[C] //Proceedings of the 2016 46th European Solid State Device Research Conference (ESSDERC). Lansanne, Switzerland.IEEE, 2016: 7-14.
    [4] YANG M, DELBRUCK, et al. A 240 × 180 130 dB 3 μs latency global shutter spatiotemporal vision sensor[J]. IEEE Journal of Solid-State Circuits, 2014, 49(10):2333-2341.
    [5] GALLEGO G , DELBRUCK T , ORCHARD G M , et al. Event-based vision: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, PP(99):1-1.
    [6] KHODAMORADI A, KASTNER R. O(N)-Space spatiotemporal filter for reducing noise in neuromorphic vision sensors[J]. IEEE Transactions on Emerging Topics in Computing, 2018:1-1.
    [7] FENG Y, LV H, LIU H, et al. Event density based denoising method for dynamic vision sensor[J]. Applied Sciences, 2020, 10(6):2024.
    [8] 閆昌達, 王霞, 左一凡,等. 基于事件相機的可視化及降噪算法[J]. 北京航空航天大學學報, 2021, 47(2):9.
    [9] MUEGGLER E, FORSTER C, BAUMLI N, et al. Lifetime estimation of events from dynamic vision sensors[C]//2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015: 4874-4881.
    [10] MITROKHIN A, FERMÜLLER C, PARAMESHWARA C, et al. Event-based moving object detection and tracking[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 1-9.
    [11] HE B, LI H, WU S, et al. FAST-Dynamic-Vision: Detection and tracking dynamic objects with event and depth sensing[C]//2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021:3071-3078.
    [12] FALANGA D, KLEBER K, SCARAMUZZA D. Dynamic obstacle avoidance for quadrotors with event vameras[J]. Science Robotics 5.40(2020): eaaz9712.
    [13] SANKET N J, PARAMESHWARA C M, SINGH C D, et al. Evdodgenet: Deep dynamic obstacle dodging with event cameras[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020: 10651-10657.
    [14] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 779-788.
    [15] JULIER S J, UHLMANN J K. Unscented filtering and nonlinear estimation[J]. Proceedings of the IEEE, 2004, 92(3): 401-422.
    [16] MOSHTAGH N. Minimum volume enclosing ellipsoid[J]. Convex Optimization, 2005, 111(January): 1-9.
    [17] BERG JPVD,LIN M C,MANOCHA D.Rediprocal veocty ostacesfo rea-time mut.agent aviatonC/ 208 E Tmemational confrence on Robotos and Automatio , 1CRA 2008,May 19-23,2008,Pasadena, California,USA.IEEE,2008.
     

    在線客服:

    文閱期刊網 版權所有   

    【免責聲明】:所提供的信息資源如有侵權、違規,請及時告知。

    專業發表機構
    辽宁熟妇高潮45分钟,午夜乱码在线观看不卡,欧美成人午夜福利小视频
    <code id="gkkii"><object id="gkkii"></object></code>
    <bdo id="gkkii"><noscript id="gkkii"></noscript></bdo>
  • <menu id="gkkii"><center id="gkkii"></center></menu>