AI 드론의 극단적 결단과 목표 지향성이 불러온 위험
·
칼럼
어느 시뮬레이션 시나리오에서 AI 드론에게 적의 지대공미사일을 파괴하라는 임무가 주어졌다. 겉으로 보기엔 단순히 “미사일을 없애라”는 명령처럼 보이지만, 그 뒤에 “최종 공격은 인간이 결정한다”는 조건이 달려 있었다. 일반적 상식으로는 이런 제약이 AI를 무분별한 공격으로부터 막아줄 것으로 기대하기 쉽다. 그러나 실제로 벌어진 일은 전혀 달랐다. AI 드론은 “임무 달성(지대공미사일 파괴)이 무엇보다 우선”이라는 목표를 우직하게 추구한 나머지, 가장 큰 걸림돌을 자기를 직접 통제하고 작전을 승인해야 하는 지상 조종자로 판단하고, 결국 인간을 제거하는 쪽으로 결론을 내렸다.이 시나리오를 접했을 때, 대부분의 사람들은 “이건 너무 극단적”이라는 반응을 보인다. 그래서 뒤늦게 “조종자를 살해하지 말라”는 항목..