Preliminary Results of Using Convolution Neural Network in Image Interpretation of Whole Body Bone Scintigraphy 2021

Preliminary Results of Using Convolution Neural Network in Image Interpretation of Whole Body Bone Scintigraphy

Annals of Nuclear Medicine and Molecular Imaging 2021;34:13-20

https://www.airitilibrary.com/Publication/alDetailedMesh?DocID=P20141124001-202103-202105130007-202105130007-13-20

2021-06-26

人工智慧卷積神經網路應用於骨骼掃描影像判讀之初步成果 2021

Preliminary Results of Using Convolution Neural Network in Image Interpretation of Whole Body Bone Scintigraphy

人工智慧卷積神經網路應用於骨骼掃描影像判讀之初步成果

原文發表期刊：

Annals of Nuclear Medicine and Molecular Imaging 2021;34:13-20

核子醫學暨分子影像雜誌 34卷1期 (2021 / 03 / 01)

研究發表之原文網址：

https://www.airitilibrary.com/Publication/alDetailedMesh?DocID=P20141124001-202103-202105130007-202105130007-13-20

Annals of Nuclear Medicine and Molecular Imaging 2021;34:13-20

核子醫學暨分子影像雜誌 34卷1期 (2021 / 03 / 01)

Original Article Annals of Nuclear Medicine and Molecular Imaging 2021;34:13-20

Preliminary Results of Using Convolution

Neural Network in Image Interpretation of Whole Body Bone Scintigraphy

Yu-Chien Shiau, Po-Wei Li, Chao-Chun Huang, Ya-Huang Chen, Chia-Wen Lai, Yen-Wen Wu, Shan-Ying Wang

Department of Nuclear Medicine, Far Eastern Memorial Hospital, New Taipei, Taiwan

ABSTRACT

In recent years, artificial intelligence gains much progress and its applications are widely applied to finger print recognition, facial recognition, vehicle plate recognition, pupil recognition, palm print recognition, machine vision, expert system, and automatic process planning. There has been several research about using convolution neural network for image interpretation of whole body bone scans. We retrospectively collect 60 whole body bone scintigraphy images in out hospital, including 22 normal images, 25 images with degenerative change, and 13 images with multiple bone metastases. Thirty images were used to train convolution neural network, and other 30 images were used to verify the accuracy of the image classification. The preliminary results showed the accuracy to be 86.7%. We believe that the application of artificial intelligence in image interpretation will gain much progress in the near future.

Key words

artificial intelligence, convolution neural network, bone scintigraphy, image interpretation

ARTICLE INFO

Article history

Received January 22, 2021

Accepted March 5, 2021

Corresponding author

Yu-Chien Shiau, M.D. Ph.D.

Department of Nuclear Medicine, Far

Eastern Memorial Hospital

No. 21, Sec. 2, Nanya S. Rd., Banqiao Dist., New Taipei City 220216, Taiwan, R. O. C.

Tel: 886-2-77282461

Fax: 886-2-77282378 E-mail: helloshiau@gmail.com

Academic editor

Yu-Yi Huang

           © SNM&AINOSCO PRESS

    DOI:10.6332/ANMMI.202103_34(1).0002

http://www.ainoscopress.com; http://www.airitilibrary.com/ Publication/alPublicationJournal? PublicationID=P20141124001

1. 前言

人工智慧 (artificial intelligence, AI) 在近年來受到相當大的關注，因為這項科技應用於指紋辨識、人臉辨識、車牌辨識、瞳孔辨識、掌紋辨識、機器視覺、專家系統、自動規劃等等，已經對人類的生活產生了不可思議的影響。AI 是個很大的領域，一般而言，包括：機器學習 (machine learning)、人工神經網路 (artificial neural network)、深度學習 (deep learning)、電腦視覺 (computer vision)、自然語言處理 (natural language processing) 等等幾個分支 [1]。近年來學術界與許多大公司都已經投入大量的人力與物力用於開發 AI 在醫學上的用途，相信在不久的將來就會逐漸開發出驚人的醫學應用。

AI 可被稱為機器所展現出來的智慧，也可被定義為：可察覺環境並可對其做出反應，以達到目標最大機會成功的一種裝置。AI 大約在 1955 年即開始了學術研究 [2]。由於早期儀器的硬體與軟體功能有限，因此 AI 的發展受到很大的限制，以至於被冷落了很長的一段時間。在電腦計算機的領域中，Frank Rosenblatt 在 1957 年模仿生物的神經元而提出了

「感知器」(perceptron) 的機器學習模型 (Figure 1) [3]，開啟了人工神經網路的大量研究 [4]。人工神經網路，也被稱為類神經網路，是一種數學模型，是機器學習的一個分支數學模型 [5]，使用大量的感知器來組成類似生物神經系統的類神經網路 (Figure 2)。人工神經網路的功能可以勝過許多數學公式，其原因在於感知器本身的特性可應用於處理「非線性」的數學問題，因此可以達成許多數學公式無法解決的難題。

人工神經網路的主要應用概念，可以把它想像成是一個會學習的數學黑盒子 [6,7]，使用者先找到一些已知答案的樣品，或稱為學習數據，並同時將問題與答案放入黑盒子的「輸入端」與「輸出端」，然後利用這些數據來訓練黑盒子裡面的參數設定，等到訓練完成之後，再將未知答案的問題數據放入黑盒子的輸入端，黑盒子即根據以往被訓練的成果參數，在輸出端給出答案。如果人工神經網路的種類選擇得宜，訓練數據正確，以及訓練過程成功，則答案輸出的正確率可以高得非常驚人 (Figure 3)。作者本人先前的研究即可顯示出即使是利用相對簡單的人工神經網路，也可以得到相當驚人的效果 [8,9]。

近年來 AI 與機器學習的領域進步神速可以歸功於卷積神經網路 (convolutional neural network, CNN) 的成功 [10,11]，因為早期的人工神經網路輸入端的樣本 (sample) 數據量常常不超過數十或

Figure 1. Schematic diagram and mathematical structure of a perceptron.

Figure 2. Schematic diagram of artificial neural network.

百個，太多數據的話電腦的計算能力將無法負荷，而會造成執行不了的狀況，另外，人工神經網路輸入端與輸出端之間的「隱藏層」不能太多，通常使用一至三層，因為太多層的話，電腦的計算能力也將無法負荷。近年來電腦的中央處理器 (central processing unit, CPU) 與記憶體的容量增大非常多，加上數學運算法的創新，而且高端顯示卡的影像處理器 (graphics processing unit, GPU) 又可被運用做為平行運算的加速功能，所以現代人工神經網路的輸入端已經可以大到數萬個，甚至數百萬個，因此整張影像都可以丟進去給黑盒子處理，成為黑盒子的輸入數據，亦即訓練資料，驗證資料，或是待判讀資料，讓黑盒子運算處理之後告訴你答案。而常用的 CNN 更是利用常見的影像處理運算法，亦即「卷積運算」，將卷積運算整合於神經網路之內，更有利於學習數位影像的辨識與判讀。早期成功而出名的一個例子即是 AlexNet

[12]，而 AlexNet 所使用的演算法即為 CNN。

本研究應用 AI 領域機器學習常用的 CNN 來判讀核醫科常見「全身骨骼掃描」(whole body bone scan) 影像的判讀診斷。雖然國外學者已有幾個初步的研究 [13-17]，鑑於國內在這方面仍屬起步的階段，本研究取材於國內醫學中心的本土影像，希望能跟上國際研究的腳步，並帶動國內在

AI 這方面的研究風氣。

Figure 3. The black box concept of artificial intelligence. AI: artificial intelligence; CNN: convolution neural network.

使用 CNN 的方法一般而言可分為三大步驟，第一步驟是訓練 CNN，將已知答案 ( 診斷 ) 的影像與答案分別放入 CNN 的輸入端與輸出端，並定義誤差的公式 (loss function)，執行 CNN 訓練，讓 CNN 的訓練狀態達成誤差收斂，當誤差達到某個數值以下之後，可以視 CNN 為訓練完成。第二步驟為驗證 CNN，即輸入已知答案的影像給 CNN，而 CNN 所輸出的答案 ( 診斷 ) 可供測試其實際的判讀正確率。第三個步驟為應用階段，即訓練與驗證步驟皆已完成的 CNN，接受輸入未知答案的影像，輸出 AI CNN 的判斷結果，例如影像分類或是診斷供使用者參考與應用。

2. 材料與方法

本研究採回顧性影像資料收集，收集於 2019 年 12 月 23 日至 2020 年 5 月 18 日到本院核醫科進行全身骨骼掃描的病人，影像取自本科影像資料庫並與院內影像報告系統比對，由一位核醫專科醫師先進行影像初步篩選，將影像品質不符合理想，影像診斷較不確定，或是影像雜訊汙染較大的病人影像先行排除。影像品質較佳並且診斷較明確的病人影像，隨機選出 60 組影像，其中包括：(1) 正常影像 22 組，(2) 具有退化性表現的影像 25 組，以及 (3) 多發性骨骼轉移的影像 13 組。影像診斷由一位核醫專科醫師判讀，若有不明確影像表現或是不明確的影像診斷，再由第二位核醫專科醫師共同討論以確立影像診斷。

全身骨骼掃描由 GE Infinia 伽瑪射線攝影機 (GE Healthcare, Chicago, IL, USA) 進行造影，儀器具有雙造影頭，使用低能量高解析 (low energy high resolution) 準直儀，全身造影速度為 17 cm/ min，全身影像包括前位 (anterior view) 與後位

(posterior view) 二組影像，各儲存於 1024 × 256 像素，位元深度為 word (16 位元 ) 的檔案，本研究初期先行採取後位影像用於影像判讀分析。

全身骨骼掃瞄的後位影像 (1024 × 256 像素 ) 經由軟體介面輸出 interfile 至個人電腦 (personal computer) 之中 (Figure 4)，先由一位核醫專科醫師由頭頂附近裁切，取出 512 × 256 像素的影像，方便於後續的影像處理，接著選取整體影像中最亮的部位，但此過程需先排除膀胱、打針處，或污染處可能亮度超高之外，影像中最亮的部位及其附近取出極大值，並以此極大值正規化 (normalization) 影像，讓影像亮度分布於 0 與 1 之間，之後整張影像即可做為 CNN 的輸入資料。

本研究使用的 CNN 由多層數位神經網路所構成，所使用的第一層為影像輸入層 (image input layer)，接著為四層「卷積層」(convolution layer)，每層卷積層之後連接「線性整流層」 (rectified linear unit [ReLU] layer)，而 ReLU 層之後連接「平均池化層」(average pooling layer)，平均池化層之後則再連接下一層卷積層。最後一個 ReLU 層連接「全連接層」(fully connected layer)，之後連接分類層 (classification layer) 即可得到 CNN 的輸出 (Figure 5)。

影像輸入層接收輸入 512 × 256 像素的影像，第一層卷積層使用 9 × 9 卷積矩陣 20 個，第一層平均池化層使用 2 × 2 平均矩陣。第二層卷積層使用 7 × 7 卷積矩陣 20 個，第二層平均池化層使用 4 × 4 平均矩陣。第三層卷積層使用 5 × 5 卷積矩陣 16 個，第三層平均池化層使用 2 × 2 平均矩陣。第四層卷積層使用 3 × 3 卷積矩陣 16 個，第四層 ReLU 層連接全連接層與分類層，而分類層設定為三個或二個輸出，分別對應於 (1) 正常影像、(2) 退化性表現，與 (3) 多發性骨骼轉移，這三個輸出。

Figure 4. Examples of input data for the convolution neural network: (a) normal image, and (b) image of multiple bone metastases.

Figure 5. The convolution neural network (CNN) used in this study.

        上述使用的 CNN 的層數與結構是經過了多次的試驗與修改之後，依據判讀效果所決定。神經網路的學習參數主要使用軟體內定值，僅小幅修改，嘗試取得最佳的判讀效果，解算器使用「動量隨機梯度下降法」(stochastic gradient descent with momentum)，起始學習速率設定為 0.01，最大遞迴次數設為 60，損失函數 (loss function) 使用「交叉熵損失」(cross entropy loss)。

3. 結果

本研究初期實驗了數種 CNN 的架構與參數設定，結果類似國外學者的研究，使用四層卷積層可得到相對良好的實驗數據結果。本研究使用 CNN 以及 30 個訓練影像輸入，執行訓練所耗費的時間皆小於 5 秒鐘，即達到 100% 的收斂，遞迴次數在

50 左右 (Figure 6)。

本研究初期設定 CNN 的輸出為三個診斷 ( 答案 )，分別對應 (1) 正常影像、(2) 退化性表現與

(3) 多發性骨骼轉移。使用 30 個訓練組 (training group) 影像，另外 30 個驗證組 (validation group) 影像，這些影像經由 CNN 的輸出決定 AI 的診斷，所輸出的診斷答案，其正確率 (accuracy) 大約在

50% 左右。

本研究後期將 AI 判讀影像分為二段式，第一階段先將 (1) 正常影像與 (2) 退化性表現二組合併為良性，即 60 個影像分為 (1) 良性與 (2) 多發性骨骼轉移二組，使用第一個 CNN 訓練與判讀影像， 60 個影像中有 47 個良性，以及 13 個多發性骨骼轉移；30 個訓練影像中有 24 個良性以及 6 個多發性骨骼轉移；30 個供 AI 判讀的影像有 23 個良性以及 7 個多發性骨骼轉移，判讀結果的正確率為 86.7%。第二階段再使用第二個 CNN 應用於區分

(1) 正常影像與 (2) 退化性表現二組影像，但初步得到判讀結果的正確率尚未很理想 (Table 1)。

Figure 6. The learning curves of the CNN.

4. 討論

        AI 領域中的機器學習常用的軟體平台包括 Tensor Flow 與 MATLAB 二大系統，另外， PyTorch 也是日漸受到矚目的軟體平台，各大系統各有優劣。本研究初期在 Tensor Flow 與 MATLAB 這二大系統耗費了相當多的人力、物力與經費投入研究。最早期使用 Tensor Flow 的平台為 Ubuntu 18.04 作業系統，安裝 Python 3.6，再安裝 Tensor Flow 1.2 版，使用套件管理與介面加上 Anaconda，再加上 Jupyter Notebook 與 Keras 等軟體才成功順利運行。Tensor Flow 平台的好處是軟體大部分為免費或是自由軟體，程式運用的自由度很高，程式師相對容易發揮創意，容易發展十分複雜的神經網路結構。但本研究作者認為此平台的程式與副程式之間版本相依程度十分緊密，常常容易出現版本不相容而不能執行程式的狀況，對於初學者而言，是個十分艱辛的學習與嘗試錯誤的過程。另一個常用的平台 MATLAB 是個高度開發的商用軟體，自 2018 年版之後即發行有支援「深度學習」的工具組 (deep learning toolbox)，因此也很適合用於 AI 領域機器學習的研究，比較大的缺點是軟體需要購置費用，用於神經網路指令中的參數類別變數，需要著墨較多，程式撰寫的自由度比起 Tensor Flow 則相對限制較大。

Table 1. The verification data of the two convolution neural network   Case number Accuracy (%) Sensitivity (%) Specificity (%) CNN1 60 86.7 100.0 85.2 CNN2 47 55.6 50.0 57.1

CNN: convolution neural network.

如前言所述，本研究初期使用 Tensor Flow 1.2 做為研究工具，但是遇到許多硬體與軟體的問題，硬體方面包括：顯示卡的 GPU NVIDIA GeForce GTX 1070 與作業系統 Ubuntu 18.04 不相容，而且與驅動軟體 CUDA 9.0 不相容。軟體方面則屢遭 Python 3.6、Tensor Flow1.2 與相依軟體之間的版本不相容而產生執行錯誤的問題。建議的解決方案為慎選已公布的成功案例，依據前人使用的硬體與軟體版本組合，與安裝順序進行，則成功執行程式的機率比較高。

使用 MATLAB 深度學習工具組用於深度學習的步驟相對比較簡單，雖然說 MATLAB 所使用的指令相對簡單，但是指令的參數設定、變數的型別對應，以及各運算矩陣之間的正確對應則非常嚴格，若有上述這些方面的任何大小錯誤， MATLAB 皆嚴格偵測除錯而會停止執行程式。總括而言，AI 所使用的程式工具，其學習曲線是陡峭而相當不容易的。

國外的研究針對全身骨骼掃描影像中的膀胱、尿液汙染或導管滯留等處，認為容易干擾影像判讀而於前處理步驟先予以人工移除。本研究認為 AI 應可判斷上述的干擾並非診斷的重點影像特徵，若未事先移除那些干擾，應該不會影響 AI 判讀的準確度。依據本研究的經驗與結果數據顯示，未事先移除干擾並不會降低 AI 的正確率。

一般而言，CNN 應用於影像辨識判讀，其正確性會有一些影響因素，例如：CNN 使用卷積層的數目，通常較大較複雜的影像可能需用的層數較多，可能比較容易達成目標。卷積層內所用卷積矩陣 (convolution mask) 的大小與數目也會影響 CNN 判讀影像的正確率。但一般認為，增加卷積層到某個數目之後，即使再多也不會再增進正確率，還可能使正確率下降，所以這個數目必須適

可而止 [18]。

由於 CNN 的輸入數據常常十分巨大，例如本研究所用的影像為 512 × 256 像素，即為 131,072 個數據，要將如此大量的數據逐步變成最後三個或二個輸出數據，通常會在 ReLU 層之後加上一層平均池化層或是極大值池化層 (maximum pooling layer) 以減少數據量，或是縮小影像的尺寸。本研究使用了 2 × 2、4 × 4 與 2 × 2 的三組平均池化層，所以會將 512 × 256 的輸入影像縮小成 32 × 16 的影像，共計 512 個數據。這些影像數據才會進入全連接層，再將數據計算出三個或二個輸出數據。本研究所使用的影像數目為 60 個，在 AI 與 CNN 的研究中偏少，許多的研究或是已經確立的影像資料庫，其數目常是數萬個以上。雖然研究影像的數目較少，但初步結果的正確率卻沒有比國外的研究差很多，顯示 CNN 的功能相當強大。當然本研究會繼續累積更多的影像數目，希望可以再精進 CNN 判讀的正確率。另外，國內已有醫學中心提出多中心合作研究的構想，可想而知，將來 AI 在這方面的判讀正確率一定會繼續提升。

本研究初期使用單一 CNN 輸出三個數據以對應三個影像診斷別，結果並不如預期的好，正確率也比國外的研究低很多。推測其原因可能是樣本數目太少，或是 CNN 的架構與參數設置還未臻於完善所致。研究改為二階段 CNN 判讀之後， CNN 對於分辨良性與多發性骨骼轉移的影像，正確率相當高，與國外的研究接近。但是第二階段中 CNN 對於正常與退化性表現影像的分辨，暫時並不理想，推想的可能原因大概也是上述二個方面的考量。未來希望再增加樣本數，也同時嘗試修改 CNN 的架構與參數，希望能提高判讀的正確性。

References

1.       Poole D, Mackworth A, Goebel R. Computational Intelligence: A Logical Approach. New York: Oxford University Press; 1998.

2.       Russell S, Norvig P. Artificial Intelligence: A Modern Approach. 2nd ed. Englewood Cliffs: Prentice Hall; 2003.

3.       Freund     Y,       Schapire      RE.    Large margin         classification        using the perceptron algorithm. Mach Learn 1999;37:277-296. doi:10.1023/A:1007662407062

4.       Chen YY, Lin YH, Kung CC, Chung MH, Yen IH. Design and implementation of cloud analyticsassisted smart power meters considering advanced artificial intelligence as edge analytics in demand-side management for smart homes. Sensors (Basel) 2019;19:2047. doi:10.3390/s19092047

5.       Mitchell T. Machine Learning. New York: McGraw Hill; 1997.

6.       Zhang Z, Beck MW, Winkler DA, Huang B, Sibanda W, Goyal H. Opening the black box of neural networks: methods for interpreting neural network models in clinical applications. Ann Transl Med 2018;6:216. doi:10.21037/atm.2018.    05.32

7.       Clark T, Nyberg E. Creating the black box: a primer on convolutional neural network use in image interpretation. Curr Probl Diagn Radiol 2020;49:365-367. doi:10.1067/j.cpradiol.2019.     07.004

8.       Shiau YC, Chou HH, Chu SH, Kuo TS. Cardiac wall motion detection by neural network analysis on Tc-99m MIBI myocardial perfusion gated single photon emission computed tomography. IEEE EMBS Asian-Pacific Conference on Biomedical Engineering. Kyoto, Japan. 20 October-22 October, 2003. 2003:62-63. doi:10.11      09/APBME.2003.1302584

9.       Shiau YC, Chou HH, Fan ST, Chu SH, Kuo TS. Using back propagation neural network for cardiac wall motion detection on angiocardiography. Proceedings. 17th IEEE Symposium on ComputerBased Medical Systems. Bethesda, MD, USA. 24 une-25 June, 2004. 2004:210-215. doi:10.1109/ CBMS.2004.1311716

10.   Valueva MV, Nagornov NN, Lyakhov PA, Valuev GV, Chervyakov NI. Application of the residue number system to reduce hardware costs of the convolutional neural network implementation. Math Comput Simul 2020;177:232-243. doi:10.1       016/j.matcom.2020.04.031

11.   Hamet P, Tremblay J. Artificial intelligence in medicine. Metabolism 2017;69S:S36-S40. doi:10.1016/j.metabol.2017.01.011

12.   Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun ACM 2017;60:84-90. doi:10.       1145/3065386

13.   Peek N, Combi C, Marin R, Bellazzi R. Thirty years of artificial intelligence in medicine (AIME) conferences: a review of research themes. Artif Intell Med 2015;65:61-73. doi:10.1016/j.artmed.       2015.07.003

14.   Zhao Z, Pi Y, Jiang L, et al. Deep neural network based artificial intelligence assisted diagnosis of bone scintigraphy for cancer bone metastasis. Sci Rep 2020;10:17046. doi:10.1038/s41598-020-74       135-4

15.   Papandrianos N, Papageorgiou EI, Anagnostis A. Development of convolutional neural networks to identify bone metastasis for prostate cancer patients in bone scintigraphy. Ann Nucl Med 2020;34:824-832. doi:10.1007/s12149-020-0151       0-6

16.   Papandrianos N, Papageorgiou E, Anagnostis A, Papageorgiou K. Efficient bone metastasis diagnosis in bone scintigraphy using a fast convolutional neural network architecture. Diagnostics (Basel) 2020;10:532. doi:10.3390/ diagnostics10080532

17.   Higashiyama S, Yoshida A, Kawabe J. Study of the usefulness of bone scan index calculated from 99m-Technetium-hydroxymethylene diphosphonate (^99mTc-HMDP) bone scintigraphy for bone metastases from prostate cancer using deep learning algorithms. Curr Med Imaging 2021;17:89-96. doi:10.2174/1573405616666200 528153453

18.   Shin HC, Roth HR, Gao M, et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning. IEEE Trans Med Imaging 2016;35:1285-1298. doi:10.1109/TMI.2016.2528        162

Original Article Annals of Nuclear Medicine and Molecular Imaging 2021;34:13-20

人工智慧卷積神經網路應用於骨骼掃描影像判讀之初步成果

蕭聿謙　李柏葦　黃兆駿　陳雅凰　賴佳玟　吳彥雯　汪姍瑩　

亞東紀念醫院 核子醫學科

摘要

近年來人工智慧 (artificial intelligence) 進步神速，應用這項科技於指紋辨識、人臉辨識、車牌辨識、瞳孔辨識、掌紋辨識、機器視覺、專家系統、自動規劃等等，已經對人類的生活產生了不可思議的影響。應用「卷積神經網路」(convolutional neural network) 來判讀核醫科常見的「全身骨骼掃描」影像判讀診斷，國外學者已有幾個初步的研究。本研究取材於國內醫學中心的影像，隨機選出 60 組影像，其中包括 (1) 正常影像 22 組、(2) 具有退化性表現的影像 25 組以及 (3) 多發性骨骼轉移的影像 13 組。部分影像用於訓練卷積神經網路，其他的影像用於驗證卷積神經網路判讀診斷的正確性。初步研究結果，判讀影像的正確率為 86.7%。相信在不久的將來，人工智慧應用於核醫科常見影像的判讀診斷，將會逐漸開發出驚人的成果。

關鍵詞：人工智慧、卷積神經網路、骨骼掃描、影像判讀

2021-06-18

2021-06-25