1.1. 연구의 필요성

건축공간에서 조명제어는 재실감지 센서나 조도 센서를 기반으로 한 자동화를 거쳐, 최근에는 카메라 영상을 활용한 비전 기반 제어로 확장되고 있다^[1]. 기존 건물에 이미 설치된 감시 카메라의 실시간 영상 데이터를 센서의 감지 데이터를 대체하는 수단으로 활용하려는 시도가 이루어지고 있으며, 재실자 중심의 강화학습 기반 조명 제어와 같이 사용자의 상태를 능동적으로 반영하는 방향으로도 연구가 진행되고 있다^[2]. 이러한 흐름은 조명 제어의 기준을 사전에 설정된 스케줄에서 실시간으로 관측된 공간의 상태로 옮겨 놓고 있다.

그러나 기존의 비전 기반 조명 제어는 대부분 조도의 크기, 즉 '얼마나 밝게 비출 것인가'를 조절하는 데 집중되어 있으며, '어디를 비출 것인가'에 해당하는 조사 방향의 제어는 상대적으로 제한적으로 다루어져 왔다. 무빙헤드 조명과 같이 Pan·Tilt 구동이 가능한 기구를 사용할 경우 조사 방향의 제어가 가능하지만, 조명기구 자체는 천장이나 벽면에 고정되어 있으므로 기구의 설치 위치에 따라 조사 가능한 범위가 근본적으로 제약된다. 즉 대상이 조명기구의 조사 범위를 벗어날 경우 대응이 불가능하다^[3].

이처럼 조사 방향의 제어가 필요한 이유는, 조명이 실제로 비추어야 할 대상—표지판, 라벨, 계기판, 안내문 등—이 공간 내 특정 위치에 고정되어 있는 반면 조명기구는 천장이나 벽면의 정해진 위치에서만 구동되기 때문이다. 두 위치가 어긋나면 아무리 밝기를 세밀하게 제어하더라도 정작 필요한 지점은 어둡게 남을 수 있다. 이러한 이동형 조명 방식은 창고나 물류센터에서 작업자가 특정 선반의 표지를 찾을 때, 전시 공간에서 안내판을 순차적으로 조사할 때, 야간 현장에서 표지판이나 문서를 신속히 비추어야 할 때와 같이 조명기구의 재배치가 어렵거나 대상의 위치가 가변적인 환경에서 특히 유용할 것으로 기대된다.

한편 본 연구가 추적 대상으로 사람이나 일반 사물이 아닌 글자를 선택한 이유는, 글자가 정보 전달의 최종 매개체라는 점에서 위치 인식의 정밀도 요구가 더 높기 때문이다. 사람이나 사물은 윤곽이나 색상과 같이 비교적 큰 형태적 특징으로 강건하게 검출할 수 있는 반면, 글자는 크기가 작고 개별 문자의 형태가 유사하여 원거리·저해상도 환경에서 오검출이나 미검출이 상대적으로 빈번하다. 따라서 글자 추적은 대상의 위치를 픽셀 단위로 정확히 산출하고 이를 조명 제어에 직접 연계해야 하는 만큼, 사람이나 사물 추적보다 더 정밀한 검출 및 정렬 기법을 필요로 한다.

본 연구는 이러한 위치적 제약을 해소하기 위해, 조명기구를 AMR(Autonomous Mobile Robot)에 탑재하여 조명기구 자체가 대상에 접근하는 방식을 제안한다. 경량 딥러닝 OCR 모델인 PaddleOCR을 통해 공간 내 글자를 탐지하고, 카메라 영상의 중심과 탐지된 글자 간의 픽셀 편차를 산출하여 이를 AMR의 주행 명령과 조명의 Tilt 제어값으로 각각 변환하는 시각 기반 제어(Visual Servoing) 기법을 적용하였다^{[3, 4]}. 이때 AMR의 주행이 수평 방향을, 조명의 Tilt가 수직 방향을 담당하는 2축 협조 제어 구조를 구성함으로써, 고정형 조명기구로는 도달할 수 없는 위치의 대상에 대해서도 조사가 가능하도록 하였다. 실제 구현 및 반복 시연을 통해, 본 시스템이 공간 내 글자의 위치를 인식하고 정렬한 뒤 조명으로 해당 위치를 조사할 수 있음을 확인하였다.

2.1. 시스템 구성

본 시스템의 하드웨어는 영상 입력부, 연산부, 조명부, 그리고 이들을 탑재하고 이동하는 AMR의 네 부분으로 구성된다. 영상 입력부는 AMR에 탑재된 카메라로, 주행 중 전방 공간의 영상을 획득하여 탐지 대상인 글자를 촬영한다. 연산부는 노트북(PC)이 담당하며, 획득된 영상으로부터 글자를 탐지하고 그 위치를 산출하여 제어 신호를 생성하는 역할을 하며 AMR과 무선으로 연결되어 있다. 조명부는 DMX512 프로토콜로 제어되는 무빙 조명으로, 연산부에서 전달된 제어값에 따라 조사 방향을 조절하여 대상을 비춘다. AMR은 이들 구성요소를 탑재한 상태로 공간을 이동하며, 조명기구 자체가 대상에 접근할 수 있도록 하는 이동 플랫폼의 역할을 수행한다. 전체적인 시스템 구성은 Table 1과 같으며 실제 구현된 모습은 Fig. 1, Fig. 2와 같다.

Fig. 1. Implementation of the system hardware

Fig. 2. Physical layout of the system hardware components

본 연구의 이동 플랫폼으로는 HandsFree Gemini AMR을 사용하였다. 해당 AMR은 연산 장치로 NVIDIA Jetson Nano를 탑재하고 4 GB의 메모리를 제공하며, Ubuntu 18.04 및 ROS Melodic 환경에서 구동된다. 이는 고성능 서버에 비해 제한된 연산 자원이므로, 영상 처리에 사용하는 딥러닝 모델 또한 이러한 엣지 환경에서 실시간 구동이 가능한 경량 모델이어야 한다. 한편 글자 인식은 AMR에 탑재된 Jetson Nano가 아닌 별도의 노트북(PC)에서 수행되며, 실시간 영상 처리 성능을 확보하기 위해 경량 딥러닝 OCR 모델인 PaddleOCR을 채택하였다^[5]. 또한 AMR은 15,000mAh 용량의 내장 배터리를 통해 외부 상용 전원 없이 이동 상태에서 조명 시스템을 구동할 수 있어, 조명기구가 대상에 직접 접근하는 본 연구의 이동형 조명 방식을 뒷받침한다.

글자 탐지용 카메라와 조사용 조명은 AMR 상에 수직으로 정렬하여 배치하였다. 카메라는 AMR에 내장된 형태로 바닥으로부터 약 100mm 높이에 위치하며, DMX512 무빙 조명은 AMR 상단부, 즉 바닥으로부터 약 530mm 높이에 설치하였다. 대상에 대한 수평 방향 정렬은 AMR의 주행이 전담하고 수직 방향의 조사는 조명의 Tilt 구동이 담당하도록 하였다. 이때 조명의 설치 높이는 절대적인 기준값으로 고정한 것이 아니라 실험 환경에서 임의로 설정한 값이며, 조명이 대상을 정확히 조사하기 위한 제어값은 설치된 상태를 기준으로 실측을 통해 보정하였다. 구체적인 보정 절차는 시스템 구현부에서 기술한다.

전체 시스템의 동작은 Fig. 3과 같은 흐름으로 이루어진다.

Fig. 3. Flowchart of the system operation

AMR에 탑재된 카메라는 주행 중 전방 영상을 지속적으로 획득하며, 획득된 영상은 무선 통신을 통해 노트북으로 전송된다. 노트북에서는 PaddleOCR을 이용하여 영상 내 글자를 인식하고, 인식에 실패한 경우 AMR은 위치를 조정하며 영상 획득 단계로 복귀하여 인식을 반복한다^{[3, 6]}. 글자가 인식되면 노트북은 화면 중심으로부터 글자까지의 위치 편차를 산출하고, 이를 두 종류의 제어 신호로 변환한다. 하나는 AMR의 수평 방향 정렬을 위한 주행 제어값이며, 다른 하나는 조명의 수직 방향 조사를 위한 Tilt 제어값이다. 산출된 두 제어값에 따라 수평 정렬과 수직 정렬이 각각 수행되고, 최종적으로 조명이 대상 글자를 조사한다.

2.2. 글자 탐지 및 픽셀 편차 산출

AMR과 노트북은 rosbridge를 통해 무선으로 연동된다^[6]. AMR 측에서 rosbridge 서버를 실행하고 노트북 측에서 roslibpy를 이용하여 이에 접속함으로써, 두 장치가 동일 네트워크상에서 ROS 메시지를 주고받는다. 노트북은 AMR에 탑재된 카메라의 영상 토픽을 구독하여 압축된 영상 프레임을 실시간으로 수신하고, 산출된 제어 명령은 주행 제어 토픽을 통해 AMR으로 전송하며, 그 명령어는 Fig. 4와 같다.

Fig. 4. Image topic subscription via rosbridge

수신된 각 영상 프레임에 대해 PaddleOCR을 이용하여 글자 탐지를 수행한다^[5]. 영상은 640 × 400 해상도를 기준으로 처리되며, 한국어 인식 모델을 통해 프레임 내의 글자와 그 위치를 검출한다. 검출된 글자는 이를 둘러싸는 바운딩 박스의 형태로 표현된다.

글자의 대표 위치는 바운딩 박스를 구성하는 네 꼭짓점 좌표의 평균으로 산출하여 글자 영역의 중심점으로 정의한다. 산출된 좌표는 10 단위로 반올림하여 사용하며, 이는 프레임 간 미세한 픽셀 변동이 조명 제어값의 진동으로 이어지는 것을 억제하기 위함이며, 그 예시는 Fig. 5와 같다.

Fig. 5. Text center calculation and rounding

산출된 중심 좌표를 기준으로 글자가 화면 내에서 벗어난 정도를 나타내는 픽셀 편차를 계산한다. 수평 방향은 화면 중심의 x좌표를 기준으로 한 편차를, 수직 방향은 화면상의 기준선으로부터의 편차를 산출하며 그 식은 Fig. 6과 같다.

Fig. 6. Pixel deviation calculation

산출된 픽셀 편차는 수평 성분과 수직 성분으로 구분되어 각각 다른 제어에 사용된다. 수평 방향 편차는 대상을 화면 중심에 정렬하기 위한 AMR의 주행 제어에, 수직 방향 편차는 대상의 높이에 맞추어 조사하기 위한 조명의 Tilt 제어에 사용된다. 이때 수평·수직 편차를 각각의 제어값으로 변환하는 과정은 2.3절과 2.4절에서 기술한다. 산출된 편차와 탐지 결과는 사용자가 실시간으로 확인할 수 있도록 화면상에 시각화하였으며, 그 예시는 Fig. 7과 같다.

Fig. 7. Real-time text recognition and deviation visualization

2.3. AMR 주행 제어

AMR은 대상 글자를 화면 중앙에 정렬하고, 대상과의 거리를 기준 거리(1,200mm)에 맞추도록 주행한다. 이를 위해 두 개의 편차를 사용한다. 하나는 화면 중심의 x좌표와 글자 중심 간의 수평 편차이며, 다른 하나는 뎁스 카메라로 측정한 대상과의 거리와 기준 거리 간의 편차이다. 수평 편차는 AMR의 좌우 회전에, 거리 편차는 전후 이동에 각각 사용되어, AMR은 좌우 회전과 전후 이동의 두 축으로 정렬을 동시에 수행한다.

수평 편차는 화면 중심의 x좌표(320)와 글자 중심 좌표의 차이로 산출한다. 거리 편차는 뎁스 카메라가 측정한 대상까지의 거리에서 기준 거리(1,200mm)를 뺀 값으로 산출한다.

산출된 두 편차에 각각 비례 이득을 곱하여 AMR의 회전 속도와 전후 이동 속도를 결정한다. 이때 산출된 속도는 AMR의 안정적인 구동을 위해 최소·최대 범위 내로 제한한다. 편차가 클수록 빠르게, 작을수록 느리게 이동하며 대상에 접근하되, 지나치게 느린 속도로 인해 구동이 정지하는 것을 방지하기 위해 최소 속도를 보장하였으며 Fig. 8과 같다.

Fig. 8. Proportional velocity control from horizontal and distance deviations

수평 편차와 거리 편차가 모두 허용 범위 이내에 들어오면 정렬이 완료된 것으로 판정한다. 순간적인 오인식으로 인한 오판정을 방지하기 위해, 허용 범위 이내의 상태가 연속으로 일정 횟수 이상 유지되었을 때 정렬이 완료된 것으로 확정하였다. 정렬이 완료되면 AMR은 주행을 멈추고, 이후 조명이 대상을 조사하며 Fig. 9와 같다.

Fig. 9. Alignment completion decision with consecutive-frame confirmation

Table 2의 경우 이동 제어 변수에 관한 표로, 기준 거리(TARGET_Z)는 2.3절에서 설정한 1,200mm로, AMR이 대상과 유지하는 목표 거리이다. 뎁스 카메라가 측정한 실제 거리가 이 값에 수렴하도록 전후 이동을 제어한다.

허용 오차(STOP_MARGIN_X, STOP_MARGIN_Z)는 정렬 완료를 판정하는 기준이다. 수평 방향은 5 픽셀, 거리 방향은 20mm로 설정하였다. 이 값을 지나치게 작게 설정하면 미세한 편차에도 정렬이 완료되지 않아 AMR이 계속 진동하게 되고, 반대로 크게 설정하면 정렬 정밀도가 떨어진다.

비례 이득(ANGULAR_GAIN, LINEAR_GAIN)은 편차를 속도로 변환하는 계수이다. 회전 이득은 0.0015, 이동 이득은 0.0006으로 설정하였다. 이득이 크면 대상에 빠르게 접근하지만, 목표 지점을 지나쳐 진동하기 쉽고, 작으면 안정적이지만 정렬이 느려진다. 픽셀 단위의 수평 편차와 밀리미터 단위의 거리 편차가 서로 크기가 다르므로, 두 이득은 각 편차의 범위에 맞추어 서로 다른 값으로 설정하였다.

속도 범위는 산출된 속도의 하한과 상한이다. 상한은 AMR이 과도하게 빠르게 움직여 대상을 놓치는 것을 방지하고, 하한은 편차가 작을 때 산출되는 속도가 지나치게 작아 AMR이 실제로 움직이지 못하는 것을 방지한다. 하한이 없으면 목표 지점 부근에서 속도가 0에 가까워져 정렬이 완료되지 못한 채 멈추는 문제가 발생하므로, 최소 속도를 보장하였다.

정렬 확정 횟수(SUCCESS_LIMIT)는 정렬 완료로 확정하기까지 필요한 연속 판정 횟수이다. 단일 프레임의 순간적인 오인식으로 정렬이 잘못 완료되는 것을 방지하기 위해, 허용 오차 이내의 상태가 2회 연속 유지되었을 때 정렬이 완료된 것으로 확정하였다.

2.4. 조명 캘리브레이션 및 Tilt 제어

본 시스템에서 사용된 조명은 ML12 Track Light로, 실물 및 상세 사양은 Table 3 및 Fig. 10과 같다. Fig. 10(a)에는 조명의 Pan 및 Tilt 회전 방향을 함께 표시하였다.

Fig. 10. Lighting device (ML12 Track Light)

조명은 DMX512 프로토콜로 제어되며, Pan과 Tilt 두 축의 구동이 가능하다. 이하 본문에서 사용하는 Pan, Tilt 수치(예: 250, 130 등)는 실제 회전 각도(°)가 아니라 DMX512 프로토콜의 8비트 제어값(0~255 범위)임을 명시한다. 본 시스템에서는 Pan 값을 250으로 고정하고 Tilt 값만을 제어에 사용하였다. Pan을 고정하면 조명은 좌우 회전 없이 수직 평면 내에서만 구동되어, Tilt 조절만으로 상하 방향의 조사가 가능하다. 대상에 대한 수평 방향의 정렬은 AMR의 주행이 전담하므로, 조명은 수직 방향의 조사만을 담당하도록 역할을 분담하였다.

조명이 대상을 일관되게 조사하기 위해서는 카메라와 대상 간의 거리가 일정하게 유지될 필요가 있다. 본 시스템에서는 이 기준 거리를 1,200mm로 설정하였다. 이는 대상과의 거리가 500mm 이하일 경우 글자가 카메라의 화각을 벗어나 화면에서 사라지고, 1,200mm를 초과할 경우 글자의 크기가 작아져 인식이 어려워지는 조건을 고려한 것이다. 두 경계 조건 사이에서 글자가 안정적으로 인식되며 화면 중앙에 위치할 수 있는 거리로 1,200mm를 채택하였다. 실제 주행 시 AMR은 대상과의 거리가 이 값에 도달하도록 정렬한다.

조명의 조사 각도는 카메라와 조명 간의 기하학적 관계로부터 계산하지 않고, 실제 설치 상태에서 직접 실측하여 결정하였다. 조명의 설치 높이가 임의로 설정된 값이므로, 해당 설치 상태를 기준으로 조명이 화면의 특정 위치를 조사하도록 하는 Tilt 값을 측정하는 방식을 취하였다.

즉 대상이 화면 중앙에서 수직 방향으로 벗어난 픽셀 편차에 0.167을 곱한 값만큼 기준 Tilt(130)를 보정하면, 조명이 대상을 조사하는 Tilt 값을 얻을 수 있다. 이를 두 측정값 사이의 선형 관계로 근사하면 다음과 같다.

여기서 $t_y$는 대상의 수직 픽셀 좌표이며, $(200 - t_y)$는 화면 기준선으로부터의 수직 편차이다. 이 관계식에 따라, 대상이 화면 중앙보다 위에 있으면 Tilt 값이 낮아지고 아래에 있으면 높아지면서 조명이 대상의 높이를 추종한다. 실측값과 도출된 관계는 Table 4 및 Fig. 11과 같다. 다만 본 관계식은 화면 수직 위치 200(화면 중앙)과 80(화면 상단) 두 지점에서의 실측값을 바탕으로 도출한 선형 근사이며, 본 연구에서 사용한 특정 카메라·조명 설치 조건(설치 높이, 카메라-대상 간 기준 거리 1,200mm 등)에 한정하여 유효하다. 측정되지 않은 범위까지 동일한 선형관계가 성립함을 보장하지는 않는다.

Fig. 11. Relationship between pixel deviation and tilt value

도출된 관계식을 제어 코드에 적용하였다. 산출된 Tilt 값은 조명의 물리적 구동 범위 내로 제한하여 안정적인 구동을 보장하였으며 Fig. 12와 같다.

Fig. 12. Tilt value calculation with range limiting