†To whom correspondence should be addressed. E-mail: 서론
인공지능 연구 분야는 최근 몇 년 동안 급격한 성장을 이루고 있다. 기계학습, 자연어 처리, 컴퓨터 영상처리 및 로봇공학 등 다양한 분야에서 인공지능을 도입하여 새로운 아이디어와 알고리즘 및 기술을 개발하고 있으며, 다양한 논문들의 등장으로 인공지능은 지속적인 발전을 이루고 있다. 특히 이러한 인공지능 기술은 의료, 환경, 교육 등 사회적 현안 해결에 직접적으로 기여할 수 있는 잠재력을 지니고 있다. 이는 기술 발전이 단순한 성능 향상을 넘어 인류의 삶의 질 향상과 지속가능한 발전에 기여한다는 점에서 지역사회의 상황과 특색을 반영한 기술의 발전, 인간에 대한 이해와도 맞닿아 있다. 따라서 인공지능의 학문적 발전뿐만 아니라, 사회문제 해결을 위한 적정기술적 활용 가능성까지 제시한다.
하지만, 적대적 생성 신경망의 발전과 혁신은 동시에 학습의 어려움을 드러내고 있다. 적대적 생성 신경망 학습은 생성자와 판별자 간의 균형을 이루기 어렵고 안정된 학습을 위한 하이퍼 파라미터 설정이나 아키텍처 선택 등이 어려움을 겪는 경우가 많아서 종종 수렴이 어렵거나 불안정한 상황에 직면하며, 원하는 품질의 결과를 얻기 위해서는 많은 실험과 조정이 필요한 경우가 많다.
또한, 적대적 생성 신경망 학습의 어려움은 모델의 성능뿐만 아니라 생성된 데이터의 품질과 다양성에도 영향을 미친다. 불안정한 학습은 모드 붕괴 같은 현상을 발생시키거나, 생성된 데이터가 특정한 패턴에 치우치거나 반복되는 문제가 발생 될 수 있으며 실제 데이터의 분포를 충분히 반영하지 못하는 가짜 데이터가 생성되어 원본 데이터와의 차이를 제대로 학습하지 못하는 경우가 있다.
이러한 적대적 생성 신경망 학습의 어려움은 연구자와 개발자들에게 큰 과제로 다가오고 있다. 이에 따라 학습의 안정성과 성능을 향상하기 위한 다양한 연구들이 진행되고 있으며, Salimans 등은 생성자와 판별자 신경망의 초기화 방법과 최적화 알고리즘을 조정하여 학습 안정성을 향상하는 방법을 제시했다(Salimans et al., 2016). 최적화에서는 생성자와 판별자 간의 균형을 유지하기 위해 학습률 스케줄링 및 가중치 초기화를 사용한다. Arjovsky 등은 Wasserstein 거리를 사용하여 vanishing gradient 문제를 완화하고, 단순한 가중치 클리핑 방법 대신 경사 패널티를 도입하여 적대적 생성 신경망 학습 안정성을 증진하는 방법을 제안했다(Arjovsky et al., 2017).
본 연구는 적대적 생성 신경망 학습의 어려움을 탐구하고 이를 극복하기 위한 새로운 방법으로 파라미터 사전학습을 통해 적대적 생성 신경망 학습의 안정성과 품질 향상을 도모한다.
이론적 배경
1. 적대적 생성 신경망 알고리즘
적대적 생성 신경망은 생성자와 판별자의 경쟁과 학습을 통해 데이터를 생성하는 생성 모델이다. 생성자는 실제 데이터와 유사한 가짜 데이터를 생성하려고 하며, 판별자는 가짜 데이터와 실제 데이터를 구별하는 방법을 학습한다. 두 신경망은 서로 경쟁하면서 점진적으로 발전하게 된다.
생성자는 잠재 공간(latent space)에서 무작위 노이즈 벡터(z)를 입력으로 받아 가짜 데이터 G(z)를 생성한다. 생성자의 목표는 실제 데이터와 유사한 가짜 데이터를 생성하여 판별자를 속이는 것이다. 생성된 가짜 데이터는 진짜 데이터와 유사한 분포를 가질 수 있도록 학습되어야 한다.
판별자는 진짜 데이터와 가짜 데이터를 입력으로 받아 각각이 진짜인지(Label 1) 가짜인지(Label 0)를 판별한다. 판별자의 목표는 진짜 데이터와 가짜 데이터를 정확하게 구별하는 것이다. 판별자는 실제 데이터에 대해서는 1에 가까운 값, 가짜 데이터에 대해서는 0에 가까운 값을 출력하도록 학습된다.
생성자와 판별자는 상반된 목표를 가지고 있으며, 이를 위해 각 신경망의 손실함수를 정의한다. 무작위의 노이즈 벡터(z)를 이용해 생성자가 생성한 데이터에 대해 판별자의 출력을 통해 판별자가 얼마가 잘 동작했느냐에 대한 생성자의 손실함수는 다음과 같다. 아래 식 (1)의 D(x)는 x가 모델에 입력되었을 때 분류모델이 판단한 진짜일 확률이며, G(z)는 z라는 노이즈가 입력되면 이를 바탕으로 생성 모델이 생성한 가짜 데이터이다.
판별자는 더 정확하게 데이터를 구별할 수 있도록 생성자와 판별자의 순차적 최적화를 구성한다. 판별자가 생성한 가짜 데이터를 실제 데이터로 잘못 분류하는 상황과 실제 데이터로 식별하려 하는 상황에 대한 손실함수는 다음과 같다.
생성자와 판별자간의 경쟁과 학습이 반복되면서 두 신경망은 점차 발전하게 된다. 최적의 상태는 판별자가 생성한 가짜 데이터가 진짜 데이터와 거의 구별할 수 없는 상태이며, 이때 판별자는 0.5의 출력값을 가진다.
생성 신경망의 여러 개념적인 평가지표에서 일반적으로 평가자들에 의한 주관적인 평가로 생성 품질 평가자의 주관적 판단이 이미지 생성에 사용되는 경우, Inception Score는 다양성과 품질을 평가하는 데 사용되는 지표이다. 하지만 이미지가 다른 형태의 데이터에서는 적합하지 않을 수 있기에 신경망의 수렴과 생성은 모델의 아키텍처, 데이터 셋, 하이퍼 파라미터, 학습 과정 등에 영향을 받으며, 모델마다 다를 수 있다. 따라서 적대적 생성 신경망의 성능 평가와 향상을 위해서는 객관적인 평가와 목표에 따른 적절한 지표를 사용하는 것이 중요하다.
2. 손실함수 재구성
생성자와 판별자의 손실함수를 재구성함으로써 적대적 생성 신경망의 안정성을 향상하는 방법은 다수의 연구가 있지만, 특히 Mao 등이 제안한 Least Squares GAN과 Gulrajani 등이 제안한 Wasserstein GAN은 이러한 시도 중 하나로, 생성자와 판별자 간의 경쟁 조절에 활발히 활용된다[3][4]. 평균 제곱 오차를 적용한 적대적 생성 신경망은 생성자가 실제 데이터 분포를 모방하도록 유도하며, 판별자가 실제와 가짜 데이터를 더욱 정확하게 분별하도록 하는 목적으로 손실함수를 평균 제곱 오차 기반으로 재구성한다. 이로써 생성자와 판별자 간의 학습 균형을 조절하고 모드 붕괴와 같은 문제를 완화하는 효과를 얻을 수 있다. 아래 식은 평균 제곱 오차를 기반으로 한 적대적 생성 신경망의 생성자와 판별자의 손실함수를 나타낸다.
연구 방법
1. 파라미터 사전학습
연구에서 제안하는 파라미터 사전학습은 적대적 생성 신경망 학습의 안정성을 강화하는 핵심적인 전략 중 하나로, 파라미터의 사전학습을 통해 모델의 안정적인 수렴을 지원하고 효율적인 데이터를 생성하는 역할을 한다. 적대적 생성 신경망 학습은 하이퍼 파라미터 설정과 생성되는 노이즈 벡터에 따라 결과가 크게 달라질 수 있으며 모델의 수렴 문제 및 발산 문제 등이 발생할 수 있다. 그렇기에 파라미터 사전학습은 생성 적대 모델의 안정성을 위한 필수적인 요소로 고려할 수 있다. 본 논문에서제안하는 파라미터 사전학습 알고리즘은 Figure 1의 블록 다이어그램과 같다.
임계값이 설정되면 첫 번째로, 배치 사이즈 파라미터에 대해 손실함수와 임계값의 차이가 최소화되는 영역의 배치 사이즈를 선택한다. 배치 사이즈는 데이터 셋의 크기 및 모델의 구조에 따라 조절되어야 하는 파라미터로 그 크기에 따라 메모리의 요구사항이나 모델의 일반화, 과적합에 밀접한 영향을 가진 파라미터이기 때문에 연구에서 일정 구간의 배치 사이즈를 학습시켜 최적의 배치 사이즈를 도출한다. 배치 사이즈에 대한 평균값을 구하기 위한 μ 는 아래 식 (5)에 나타난다. 각 스텝에서 수행되는 반복 ‘i’에 대한 평균을 구하고, 파라미터 스페이스는 20부터 120까지 스텝 사이즈를 10으로 사전학습을 수행한다.
배치 사이즈에 대한 학습이 완료되었을 때 생성자와 판별자의 수렴된 값의 평균값을 이용하여 임계값에 가장 근접한 값을 배치 사이즈로 출력하고 아래 식 (6)를 따른다. T는 임계값으로 생성자와 판별자의 손실함수 평균을 통해 임계값과 비교하는 작업을 수행한다.
배치 사이즈 학습에 있어 옵티마가 아닌 지점에 수렴하는 부분에 대한 문제를 해결하기 위해 조기 중단 방식이 아닌 주어진 배치 사이즈 스페이스만큼 학습을 진행하여 임계값과 가장 가까운 거리의 배치 사이즈를 도출한다. 아래 식 (7)은 임계값에 가장 근접한 배치 사이즈를 출력하기 위해 θ를 조정하는 과정을 나타낸다.
배치 사이즈 파라미터 설정이 완료되면 두 번째로, 에포크 파라미터 설정을 위한 학습이 단계적으로 수행된다. 에포크는 수가 많을수록 모델은 향상된 성능을 발휘할 수 있지만, 학습이 길어지거나 과적합 문제가 발생할 수 있기에 적절히 값을 조정하는 것이 파라미터 조정의 중요한 요소 중 하나이다. 도출된 에포크 값은 아래 식 (8)과 같이 나타난다. 수행되는 에포크의 평균값 μ 는 20부터 ∞ 까지 임계값 T에 수렴할 때까지 반복을 수행하며 각 반복이 수행될 때마다 에포크의 값을 늘려가며 평균값을 산출한다.
에포크에 대한 사전학습이 진행되면서 해당 파라미터가 무한대까지 진행되면 결국 임계값에 수렴한다는 결과는 아래 식 (9)와 같이 나타난다.
따라서 임계값에 의해 수렴된 에포크 값이 최종 도출되는 형태는 아래 식 (10)과 (11)같이 나타난다.
실험
파라미터 사전학습을 통한 배치 사이즈와 에포크의 선정 결과 그래프는 Figure 2와 Figure 3과 같이 나타난다. Figure 2, 3의 점선은 임계값, 실선은 손실함수의 평균, 네모는 생성자의 손실함수, 동그라미는 판별자의 손실함수를 나타낸다.하이퍼 파라미터를 정의할 때, 에포크 선정 그래프의 20 에포크의 부분과 배치 사이즈 선정 그래프의 배치 사이즈가 40이 되는 부분에서 옵티마가 아닌 부분에 수렴하지 않도록 파라미터 스페이스 전체를 활용하여 임계값에 가장 근접한 값을 선택한다. 연구는 파라미터 사전학습을 통해 얻은 데이터를 활용하여 얻은 결과를 손실함수의 분석, 모델의 출력물, 파라미터 수치로 분석하여 결과를 나타낸다.
첫 번째로, 손실함수를 통한 분석은 모델의 학습 과정을 평가하는 핵심적인 부분으로 손실함수의 변화를 추적하여 생성자와 판별자 신경망의 수렴 상태를 평가한다. 손실함수는 모델의 성능을 나타내는 중요한 지표중 하나로 이를 통해 모델의 수렴과 학습 정도를 확인할 수 있으며, 모델의 안정성 및 학습 품질을 측정할 수 있다. 손실함수의 결과는 Figure 4와 5에 나타난다.
손실함수 모니터링 결과와 같이 랜덤 서치에 의한 파라미터 조합 방식은 학습이 수행되며 에포크가 점차 수렴을 이루지 못하고 플로팅 현상이 발생함과 동시에 옵티마가 아닌 특정 지점에서 수렴되어 버리는 현상이 발생하는 반면, 파라미터 사전학습의 손실함수는 학습을 수행하며 점차 안정적인 형태의 수렴을 확인할 수 있다. 손실함수의 안정적인 수렴은 파라미터 사전학습이 안정적인 형태의 학습을 진행할 수 있음을 나타낸다.
두 번째로, 생성된 데이터 분석은 모델의 출력물, 즉 생성된 데이터의 품질을 평가한다. 학습이 완료된 후, 모델이 생성하는 데이터의 특성과 분포를 조사한다. 이를 통해 모델이 실제 데이터를 얼마나 잘 모사하고 있는지, 데이터 생성의 다양성 및 품질을 평가한다. 알고리즘의 진행은 학습률을 0.1로 설정하여 수행되며, 학습 결과물은 데이터 클러스터의 군집 형태와 데이터의 수렴 형태를 기준으로 판단 다. 생성된 최종 출력물은 Figure 6에 나타난다. 출력된 결과는 파라미터 사전학습이 학습 안정성을 증진 시킬 수 있음을 나타낸다.
마지막으로, 파라미터값을 종합적으로 분석한다. 이를 통해 모델의 학습 안정화 수치를 정량적으로 비교하여 안정성을 비교할 수 있다. 또, 연구에 대한 실제 구현에 있어 정의된 임계값에 안정적인 수렴이 이루어지는지 평가할 수 있는 도구로 사용될 수 있다. 실험 결과, 얻어진 결과는 Table 1에 나타난다. Table 1의 gen_loss, disc_loss는 생성자와 판별자의 손실함수는 나타내며, Batch_size와 Epoch는 알고리즘이 도출한 하이퍼 파라미터의 값, step은 완료된 실험의 수를 나타낸다.
파라미터 사전학습은 생성자와 판별자의 손실함수를 랜덤 서치와 비교하여 평균 약 5% 이상 향상된 결과를 확인할 수 있다.
세 가지 관점을 종합하여 연구의 성능과 효과를 분석한 결과 파라미터 사전학습은 랜덤 서치에 비해 파라미터값에서는 생성자와 판별자의 평균값 전체에서 약 5% 이상 향상, 손실함수의 수렴에서는 플로팅 현상 없이 안정적으로 수렴하는 형태, 학습 후 생성된 출력물의 완성도에서는 학습이 완료된 분포의 형태가 생성된 클러스터에 안정적인 군집, 모두에서 더 나은 결과를 확인할 수 있다.
따라서, 파라미터 사전학습은 적대적 생성 신경망 학습의 어려움이나 수렴 불가 문제를 해결하는 방안으로 제시될 수 있다. 또한, 학습 데이터의 형태에 따라 특정 부분에서 고출력의 데이터를 관측하거나 흑백 이미지의 특징 추출에 있어 향상된 성능을 기대할 수 있다.
결론
본 연구는 적대적 생성 신경망의 학습 불안정성과 수렴실패 문제를 개선하기 위해 파라미터 사전학습 기법을 제안하였으며, 실험을 통해 손실 함수의 안정적 수렴과 학습 효율성을 입증하였다. 제안된 방법은 기존 랜덤 서치 방식 대비 평균 약 5% 이상의 성능 향상을 달성하였고, 이는 안정적인 이미지 학습 및 데이터 생성 가능성을 높이는 결과로 이어졌다. 이러한 연구 성과는 단순히 딥러닝 모델의 성능 향상에 그치지 않고, 의료 영상 보정, 환경 데이터 복원, 저자원 지역에서의 데이터 증강 등 다양한 분야에 응용될 수 있다. 특히 인공지능 기반 생성 모델의 기술적인 향상은 사회문제 해결형 기술과 연계될 수 있음을 보여주며, 기술적 발전과 사회적 가치 창출을 동시에 달성할 수 있는 가능성을 제시한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation
Print
