2.1 미세조직 이미지

본 연구에서 사용된 미세조직 이미지는 2차원 정상 결정립 성장에 대한 상장 모델을 이용하여 생성하였다. 상장 모델에 대한 설명은 본 연구의 범위에서 벗어나므로, 자세한 내용은 참고문헌을 참조한다[¹⁸,¹⁹]. 각 이미지는 512×512 픽셀 크기와 RGB 색상 정보를 가지고 있다. 두 종류의 미세조직 이미지를 생성하였는데, 이는 그림 1(a), (b)에 나타낸 바와 같이 EBSD 이미지와 유사하게 뚜렷한 결정립계를 선분으로 나타내지 않고 결정립마다 다른 색상으로 나타낸 CL형과, 광학 현미경 조직과 같이 결정립 기지와 결정립계를 백색과 흑색으로 각각 나타낸 GB형이다. 전산 모사로 생성된 이미지이므로 축척표시는 존재하지 않는다. 한편 결정립 크기를 결정하는 방법에는 여러 가지가 있으나, 본 연구에서는 512×512 픽셀 이미지 중 결정립 한 개 영역이 차지하는 픽셀 수로써 결정립 크기를 정의하였다. 또한 이미지 경계에서 절단된 결정립의 경우에는 결정립 한 개로 처리하였다.

훈련과 검증을 위한 데이터는 CL형을 사용하였으며, 그 수량은 합계 4,000장이었다. 이 데이터셋의 평균 결정립 크기 범위가 대략 1,200~2,400 픽셀이었다. 결정립 개수로 환산하면 110~220개 범위를 갖는다. 전산모사를 통하여 새로운 결정립 구조를 갖는 미세조직을 생성하는 것은 어렵지 않으므로, 별다른 데이터 증식 기법을 사용하지는 않았다. 정상 결정립 성장 중 결정립 면적은 시간에 대하여 선형으로 비례한다[²⁰]. 이러한 특성을 이용하여 전산모사 중 일정한 시간 간격에 따라 원하는 평균 결정립 크기를 얻을 수 있다. 이와 같은 방법을 통하여 평균 결정립 크기가 학습범위 내에서 고르게 분포되도록 설계하였다. 학습 후 추가적인 검증을 위한 데이터는 CL형과 GB형 모두 이미지 300개로 구성되었으며, 이들은 앞서 설명한 훈련 데이터에는 포함되지 않는다.

위에서 훈련된 신경망이 실제 미세조직에도 잘 적용되는 지 알아보기 위하여, 그림 1(c), (d)와 같이 실험적으로 얻어진 미세조직 이미지를 수집하여 검증하였다. 축척표시를 제외한 상태에서, 이미지 크기가 512×512 픽셀 이상이면 부분적인 512×512 픽셀의 정사각형 이미지를 추출하였다. 512×512 픽셀 이하 이미지는 가능한 한 큰 크기의 정사각형으로 추출한 다음, 512×512 픽셀 크기로 확대하였다. CL형 이미지는 모두 EBSD 이미지로, GB형 이미지는 광학 현미경으로 촬영된 것으로 판단된다. 각 이미지에서 전체 이미지 크기(512×512 픽셀)를 결정립 개수로 나누어 평균 결정립 크기를 추정하였다.

2.2 합성곱 신경망

CNN [²¹]은 이미지 처리를 위한 딥러닝 방법이며, 기존 인공신경망[²²]과 유사한 구조를 갖는다. 본 연구에서 사용된 CNN 구조는 그림 2에 나타내었다. CNN의 전체 구조는 입력층(input layer)과 은닉층(hidden layer), 출력층(output layer)으로 구성된다. 본 연구의 목적은 결정립 구조를 가진 미세조직 이미지로부터 평균 결정립 크기를 회귀하는 것이므로, 입력층은 변수로서 미세조직 이미지를 대입한다. 초기 입력 이미지는 512×512×3의 RGB 컬러 이미지이며, 컴퓨터 자원 사용을 줄이기 위하여 이미지 입력 직후 256×256×3의 컬러 이미지로 축소하였다. 출력층에서는 회귀 결과로서 평균 결정립 크기에 대한 예측 결과를 출력한다.

은닉층은 합성곱(convolution)과 활성화 함수(activation function), 풀링(pooling) 연산을 합친 Conv 계층과 완전결합계층(fully-connected layer, FC)로 이루어져 있다. Conv 계층 내 합성곱 계층은 다수의 채널(channel)을 가지며 각 채널에는 이미지 정보가 저장되고, 이전 층에서 현재 층은 작은 크기 이미지인 필터(filter)와의 합성곱을 통하여 연결된다. 이 필터 이미지의 형태는 CNN 훈련 과정 중 확정된다. 합성곱 중에 이미지 크기는 변화할 수 있는데 일반적으로는 이미지를 축소한다. 이미지의 합성곱 연산에 의한 축소 정도를 조절하기 위하여 패딩(padding)과 스트라이드(stride)를 적용한다. 합성곱 연산을 마친 데이터는 활성화 함수를 거쳐 추가로 이미지를 축소하는 풀링 연산으로 연결된다. 각 연산에 관한 자세한 내용은 참고문헌을 참조한다[⁶,²³]. 그림 2에서 나타낸 바와 같이 본 연구에서 사용한 CNN에서는 Conv 계층이 4개 연결되어 있다. Conv4를 통과한 후 이미지가 적당히 작아지면, 평탄화(flatten)를 거쳐 일반 인공신경망인 FC 계층을 거쳐 최종 출력층으로 연결된다. 평탄화된 계층과 FC 계층 사이에는 과적합(overfitting)을 최소화하기 위한 드롭아웃(dropout)을 50 % 적용하였다.

활성화 함수는 Conv 계층과 FC 계층에서 ReLU(Rectified Linear Unit) 함수를 사용하였으며, 최종적으로 평균 결정립 크기를 산출하는 출력층에서는 별다른 활성화 함수를 사용하지 않았다. 본 연구에서의 은닉층의 층수와 채널 수 및 노드(node) 수 등은 손실을 최소화할 수 있도록 시행착오를 거쳐 결정하였다. 본 연구에서 사용된 합성곱 신경망에서 사용한 연산에 관한 조건은 표 1에 정리하였다. 학습은 에포크(epoch) 단위로 진행되는데, 1 에포크는 준비된 입력데이터 전체를 모두 사용하여 한 번 훈련된 상태를 뜻한다. 손실(loss)로서는 평균 제곱 오차(mean squared error)를 사용하였으며, 최적화 방법으로는 Adam [²⁴]을 사용하였다. 지금까지 설명한 CNN은 파이썬 (python) [²⁵] 과 케라스(keras) [²⁶]를 이용하여 구현하였다.

3.1 기계학습의 정확도

상장모델로 생성한 CL형 미세조직 이미지 4,000장 중 무작위로 추출한 75 %의 이미지 3,000장을 CNN 훈련용을 사용하였으며, 나머지 25 %의 이미지 1,000장을 검증용을 사용하였다. 60,000 에포크를 훈련하는 과정 동안 손실 변화를 그림 3에 나타내었다. 파란색과 빨간색 선은 각각 훈련 데이터와 검증 데이터에 대한 결과를 표시한다. 평균 제곱 손실로 나타나는 손실이 작을수록 학습이 잘 수행되었다고 판단할 수 있다. 그림에서 보는 바와 같이 훈련 데이터에 대한 손실은 훈련 초기에 급격하게 감소하고, 그 감소하는 기울기가 학습 횟수가 커질수록 작아져 대략 600 픽셀 정도에 접근하였다. 검증 데이터의 손실은 큰 진폭을 보이며 감소하게 되는데, 전체적인 경향은 훈련 데이터와 유사하였으며, 50,000 에포크에서 4,000 픽셀 정도의 최솟값을 보인 후, 이후에서 손실이 다시 점차 증가하는 과적합 현상이 나타났다. 이에 따라 본 연구에서는 미세조직 이미지에 대한 CNN 학습은 50,000 에포크까지 훈련하였다.

훈련 및 검증 데이터를 실제 데이터와 비교한 그래프를 그림 4(a), (b)에 각각 나타내었다. X축은 데이터의 실제 평균 결정립 크기(A_measured)이며, 이는 결정립 구조를 생성하는 전산모사 계산 동안 자동으로 측정한 것이다. Y축은 CNN으로부터 예측된 결과(A_predicted)이다. 훈련 데이터 3,000개의 경우, 기울기는 0.991이며 R²는 0.999로 실제 데이터와의 관계가 거의 완벽하게 일치하였다. 한편, 검증 데이터 1,000개의 경우, 기울기는 0.902 정도이고 R²는 0.934 정도로 적당한 일치를 보이긴 했으나, 훈련 데이터의 정확도와 비교하면 상당한 편차를 나타냈다. CNN으로 예측된 평균 결정립 크기와 실제로 측정한 평균 결정립 크기의 비율을 정확도(A_predicted/A_measured)를 나타난 그래프는 그림 4(c), (d)에 나타내었다. 훈련 데이터의 경우에는 모든 데이터에서 1에 근접한 결과를 나타내어 정확한 예측이 된 것으로 판단된다. 그러나 검증 데이터의 경우에는 평균적으로 1에 가까운 정확도를 나타내긴 하지만, 결정립 크기가 작을수록 편차가 심하고, 결정립 크기가 커질수록 평균 결정립 크기가 저평가되는 현상이 발견되었다.

3.2 CNN의 추가 검증

훈련 및 검증 데이터 이외에 추가적인 미세조직 이미지를 이용하여, 본 연구에서 구축한 CNN에 대하여 추가로 검증하였다. CNN의 훈련과 검증에 사용된 데이터는 상술한 바와 같이 평균 결정립 크기가 1,200~2,400 픽셀의 범위를 갖는다. 추가 검증을 위해서 평균 결정립 크기의 범위가 50~3,200 픽셀의 범위를 갖는 CL형과 GB형의 이미지를 준비하였다. 추가 검증 데이터의 평균 결정립 크기의 범위는 훈련 데이터의 범위를 벗어나는 것이며, 훈련 범위 바깥에서의 기계학습 정확도를 검증하기 위하여 사용하였다. 또한 CNN 학습을 위해서 CL형만을 사용하였는데, 이 인공신경망이 결정립계가 강조된 GB형을 적절하게 인식할 수 있는지 확인하고자 했다.

추가 검증용 데이터로 분석한 결과를 CL형에 대하여 그림 5(a)에 나타내었다. 학습범위인 약 1,200~2,400 픽셀에서는 훈련 및 검증 데이터와 같은 수준의 높은 정확도가 나타났다. 이 결과는 이전 절의 훈련과 검증이 적절하게 수행되어 있음을 재차 증명하는 것이다. 학습범위보다 낮은 범위, 즉 대략 400~1,200 픽셀의 경우에는 역시 실제 데이터와의 일치율이 높았다. 400 픽셀 이하에서는 정확한 값에서 많이 벗어나게 되는데, 이는 작은 결정립들이 합성곱과 풀링을 통한 축소 과정에서 해상도의 한계로 적절하게 검출되지 못하는 것으로 판단된다. 한편, 학습범위 보다 높은 범위, 즉 결정립의 면적이 2,400 픽셀보다 큰 경우에는 평균 결정립 크기가 실제 값보다 저평가되는 영향이 나타났다. 학습범위 내에서도 평균 결정립 크기가 큰 경우에 이런 현상이 일어났는데, 더욱 큰 결정립에서는 이러한 오차가 두드러졌다. 이때의 오차는 무분별하게 산재하여 있는 것이 아니라, 학습범위 내의 데이터 변화의 연장선에 있는 오차라고 판단된다. 이와 같은 정확도의 분포는 GB형 이미지로 학습과 검증을 했던 이전 연구[¹⁷]에서도 유사하게 발견되었다. 단, GB형 이미지로 학습했을 경우에는 결정립이 매우 작을 때의 오차가 본 연구의 오차보다 크게 나타났다. 이는 결정립계 영역이 이미지상으로 일정 폭을 가진 영역으로 나타나는데, 작은 결정립이 이 결정립계에 가려져 오차가 발생한 것으로 보인다. 본 연구와 같이 CL형 이미지로 학습했을 경우에는 결정립계 영역이 분리되어 있지 않기 때문에 결정립계가 작은 결정립을 가리는 효과가 없다. 그러므로, 작은 결정립 크기에서도 상당히 작은 오차가 발생했다고 판단된다.

300개의 GL형 이미지로써 검증한 결과는 그림 5(b)에 나타내었다. 이 경우에는 전 구간에 걸쳐 평균 결정립 크기의 예측이 적절하게 이루어지지 않았다. 특히 결정립 크기가 1,000 픽셀 이상에서는 약 1,500 픽셀 정도의 거의 일정한 예측값을 나타낸 것을 알 수 있다.

인터넷에서 수집한 실제 실험에서 얻어진 미세조직 이미지로 검증한 결과는 그림 6에 나타내었다. 그림 6(a)는 본 연구에서 CL형 이미지로 학습한 후 실험 이미지로 검증한 결과이다. 이때 CL형 실험 이미지는 비교적 측정값과 예측값이 잘 일치하였다. GB형 실험 이미지는, GB형 시뮬레이션 이미지를 검증했던 그림 5(b)와 같이, 전 영역에서 결정립 크기를 약 1,500 픽셀 정도로 일정하게 예측하였다. 비교를 위하여 GB형 이미지로 학습한 이전 연구 결과를 그림 6(b)에 나타내었다. 이때 위의 결과와는 반대로 GB형 실험 이미지는 만족할 만한 예측 결과를 나타냈으나, CL형 실험 이미지는 일부 예외 데이터를 제외하고는 결정립 크기가 약 3,500 픽셀 정도로 일정하게 예측되었다. 이와 같은 결과로 볼 때, GL형 이미지와 GB형 이미지는 본 연구에서 구축한 CNN으로서는 서로 간에 정확한 예측을 할 수 없다는 결론을 얻었다. 그러므로 미세조직 이미지에서 결정립 크기를 적절하게 예측하기 위해서는 같은 종류의 이미지, 즉, CL형 이미지 훈련 – CL형 이미지 예측, GB형 이미지 훈련 – GB형 이미지 예측과 같은 동종 이미지의 기계학습이 필요하다. 혹은 CL형과 GB형을 결합한 거대한 데이터셋을 학습해야 만족할 만한 결과를 얻을 수 있을 것이다.

3.3 중간층 이미지 분석

CNN에 의하여 미세조직 이미지로부터 평균 결정립 크기를 예측함에 있어서 어떤 중간 과정을 거치는지 알기 위하여 중간층 이미지[⁶,¹²]를 생성하여 관찰하였다. 사용자가 관찰하는 중간층 이미지는 중간층을 정확하게 보여주지는 않지만, 대략적인 변환과정을 시각적으로 전달할 수 있다는 장점이 있다. 그림 7(a)의 CL형 이미지를 위에서 CL형 이미지로 훈련된 기계학습 시스템에 입력하고 각 Conv층을 통과할 때마다 중간층 이미지를 생성하여 출력하였다. 중간층 이미지에서 각 픽셀의 수치는 합성곱 과정에서 회색톤 이미지(0~255)의 범위를 벗어날 가능성이 있다. 이 문제를 해결하기 위하여 이미지 픽셀 정보를 시각화해야 하는데, 각 픽셀은 모든 픽셀의 평균값과 표준 편차를 이용하여 표준화(standardization)하여 0~255의 값을 갖도록 범위를 조정하였다.

Conv1 직후 중간층 이미지는 그림 7(b)에 나타내었다. Conv1은 3개 채널(RGB)을 갖는 이미지를 입력받고, 필터 32개로 합성곱 과정을 거친 후, 채널 32개에 그 결과를 저장하고 활성화와 최대 풀링(maxpooling)을 거쳐, 총 32개의 중간층 이미지를 생성하였다. 이 과정에서 이미지 크기는 256×256 픽셀에서 128×128 픽셀로 축소되었다. 그림 7(b)는 중간층 이미지 32개 중 4개를 발췌한 것이다. 입력 이미지(그림 7(a))는 직접적으로 결정립계를 표현하지 않고 결정립 간 색상을 구분하여 결정립계를 나타낸다. Conv1 직후 중간층 이미지에서는 미세조직 이미지 전체의 대비(contrast)와 결정립별 대비를 바꾸어 부분적으로 결정립계를 추출하는 것으로 판단된다. 이때 추출된 결정립계는 밝은색으로 나타났다.

Conv2에서는 총 채널 32개가 존재하므로, 중간층 이미지 32개가 생성되었다. 이때 이미지 크기는 128×128 픽셀에서 64×64 픽셀로 축소되었다. 그림 7(b)에 나타낸 이미지는 Conv2에서 생성된 중간층 이미지 32개 중 8개를 발췌한 것이다. Conv1에서 결정립계를 추출하려는 시도가 Conv2에서 심화하였다. 흑백으로 표현된 결정립 색상을 나타낸 이미지는 찾아볼 수 없었고, 결정립은 흑색으로, 결정립계는 백색으로 요소별로 강조된 이미지가 뚜렷하게 나타났다. Conv3 이후에서는 이미지 크기가 지나치게 작아서 육안으로 결정립계를 확인하기가 어려웠다.

한편, 이전 연구[¹⁷]에서 구축한 GB형 훈련 CNN으로 CL형 이미지의 중간층 이미지를 분석한 결과는 그림 7(c)에 나타내었다. Conv1을 통과한 후 중간층 이미지에서는 일부 결정립계를 검출하려는 시도가 나타났다. Conv2을 통과한 후에는 CL형 훈련 모델과 같이 결정립계를 요소별로 강조하지 못하고, Conv1 직후 중간층 이미지에 비하여 그다지 발전된 검출 효과를 보이지 않았다. 이에 따라 GB형 훈련 모델은 그림 6(b)에서와 같이 CL형 이미지를 적절하게 분석하지 못한 것으로 보인다.

그림 8은 GB형 이미지(그림 8(a))를 CL형 훈련 모델(그림 8(b))과 GB형 훈련 모델(그림 8(c))로써 생성한 중간층 이미지이다. 그림 8(b)와 같이 CL형 훈련 모델로 GB형 이미지를 분석하면, Conv1 직후에는 전체적인 이미지의 대비를 변경하며 결정립계를 검출하려는 시도가 나타난다. 그러나 Conv2에서는 이와 같은 결정립계 검출 시도가 더 이상 발전하지 못했으며, 심지어 일부 중간층 이미지는 전체적으로 흑색으로 나타났다. 그림 8(c)에 나타낸 GB형 훈련 모델에서의 중간층 이미지에서는 Conv1에서의 결정립계 검출이 Conv2에서 더욱 발달하여 결정립계 각도 요소 별로 적절하게 검출되는 것을 관찰하였다.

이전 연구[¹⁷]에서는, 본 연구에서 사용된 CNN은 결정립 개수나 결정립계 면적비가 아닌 결정립계 곡률로써 평균 결정립 크기를 평가하는 것이라고 결론지었다. 결정립을 원형으로 가정했을 때, 결정립계 곡률은 결정립 반경에 반비례한다. 결정립이 커질수록 결정립계 곡률 변화는 미미해져서, 기계학습으로 평가할 때 평균 결정립 크기의 오차가 커지는 것으로 판단하였다. 본 연구에서 CL형 이미지로 CNN을 훈련하였을 때에도 같은 결론을 얻을 수 있다. CNN은 테두리 검출(edge detection)을 통하여 물체를 판별하는 능력이 탁월한 것으로 알려져 있다[²⁷,²⁸]. GB형 훈련 모델에서는 결정립계가 백색 바탕의 흑색으로 뚜렷하게 정의되었지만, 본 연구에서 CL형 훈련 모델에서는 이러한 결정립계가 존재하지 않으며 결정립 간 색상 대비(color contrast)로 결정립계가 정의된다는 차이점이 있다.

위의 결과를 종합하였을 때, 한 종류의 표현 방식으로 관찰된 이미지로서 기계학습을 수행했을 때, 다른 방식의 결정립 구조 이미지는 제대로 평가할 수 없다고 결론지을 수 있다. CL형과 GB형 훈련 모델은 상호 간 이미지 분석을 적절하게 수행할 수 없으며, 이는 결정립계 정의 방법에 차이가 있기 때문이라고 판단된다. 다양한 미세조직에서 평균 결정립 크기를 평가하는 기계학습을 위해서는 방대한 종류의 미세조직에 대한 데이터베이스가 요구된다.