達人專欄前言
鑒於APIL曾推出過類似的專案如下，藉由科技教育的方式讓使用者能用更少的成本進行訓練。我們這邊的學校企劃，跨領域與醫護專業做合作，模擬超音波實練與病症辨別。我負責製作超音波模擬VR。
Demo:
*本專案只有做肝、膽。
程式碼文本在我的網站。
超音波原理
由感測器發出聲波，返回的是該聲波垂直向下的頗面回聲(echo)圖，echo越強的像素越白。 因為器官表面不平，會產生音波漫射(diffuse)，所以大部分是灰的。
特徵如下：
- 液體和空氣幾乎沒有回聲，所以是黑的。
- 組織到另一個組織時，若材質差異大，會產生邊緣高光(specular)反射。
- 漫射的光會造成雜訊、顆粒感(speckle)。
- 聲波每經過一層會反射的物質，其強度減弱，產生陰影。
- 離感測器最近的組織回聲最強，隨著滲透越深，強度衰弱(attenuation)。
透視圖
先準備正常內臟模型，寫個簡單的透明shader並用alpha控制透明度來代表透光程度，讓攝影機最終呈現以下圖片：
邊緣高光
藉由sample 該uv的顏色與上面一點的uv的顏色，相減後取得顏色變化差距。 (只取上面的顏色變化是因為我們假設聲波來源是上面)
模糊後看的比較清楚：
強度圖
將顏色由貼圖上方往下加，建議看文獻[1]比較好懂。
Radical Blur
原理：根據(x,y)找到對應的( r , θ) 座標，取鄰近像素座標 ( r , Θ) =(r , θ ± l / 2 ) 平均值輸出。
這邊使用acos取角度：
以前我是用atan去算，但詢問了才知道atan不適合做連續角度的運算，在沒特別處理的話畫面會斷成兩半。
上層皮膚模擬
超音波圖之所以上面通常都是白白一絲一絲的，因為那是人的表層皮膚、肌肉，容易產生echo，所以偏白。 文獻[1]教了我們基本的超音波效果模擬，為了讓圖更逼真，所以再來多做一些吧( •̀ ω •́ )✧。
(來源wiki)
使用tanh取得上層偏白的遮罩，再調整一下參數可得到以下曲線：
搭配noise可得以下效果
再調整一下曲線讓他不要太白：
最終的曲線如下
扇型裁切
參考文獻[3]，畫出扇型遮罩：
但我們需要的是右邊這種形狀的，所以再加點角度範圍判斷。
結果:
內臟透視
需求之一，讓使用者選擇想要觀察的內臟。
Stencil masking
來源文獻[4]
在人體等想被穿透的物體shader上加
能穿透的物件shader加上
缺點，只有PC能執行，由於Occulus輸出一體機是跑安卓系統，礙於該平台不支援，導致只會渲染在一顆眼睛上。
覆寫深度
無意間嘗試出來的。
原理：
第一個pass無視深度條件寫入背面，同時也會寫下深度，讓深度能在它之上的只有自己的正面，因此讓第二個pass正常渲染即可。
用戶操作
為了提升VR體驗，所以如影片中的感測器會自動貼合人體表面，防止穿模。
病症置入
專案會故意置入有病症的器官去訓練操作人員識別。
*備註: 螢幕旁邊的度量衡沒意義，老師叫我隨便畫個上去 = =
範例1：肝的囊腫
由於肝多是實體，呈黑灰色，其囊腫內容物多為液體，呈更黑的區塊。
範例2:膽囊結石
結石容易回傳較多的echo，所以會偏白，可以看到圖中有一顆較白的小球
額外閱讀
[5] 核磁共振是3D立體空間，而超聲波是建立在聲波網格(acoustic grid)，渲染比較困難。
[6] 快速剖面演算法。 (因為超音波是取截面)
[7] 更專業的演算法吧。
參考文獻
- Ultrasound simulation with shaders - Avangarde-Software
- Barnouin, C., Zara, F., & Jaillet, F. (2020, February). A real-time ultrasound rendering with model-based tissue deformation for needle insertion. In 15th International Conference on Computer Graphics Theory and Applications, GRAPP 2020. [pdf]
- How to draw circular sector in RunTime? - Unity Answers
- unity - How can I create a "see behind walls" effect? - Game Development Stack Exchange
- Chapter 40. Applying Real-Time Shading to 3D Ultrasound Visualization | NVIDIA Developer
- https://www.scitepress.org/papers/2017/60972/60972.pdf
- GPU Ultrasound Simulation and Volume Reconstruction (tum.de)
