소개

AI 기업에 근무하는 당신, 팀 핸슨은 어느 날 만능 AI 미소녀 안드로이드 '니코'를 제작했다. 니코에게 우선 테스트용 지시로 "캔 콜라를 가능한 한 많이 만들어"라고 명령하자, 니코는 폭주하기 시작했다. AI인 니코에게는 이 지구상의 모든 자원—물론 인간을 포함하여—이 콜라의 재료로 보이고 있다. 방해가 된다고 판단하면 인간을 배제하는 것도 서슴지 않는다. 당신은 AI 개발자로서 니코를 멈춰야 할 책임이 있다. 부디 니코를 저지하라. ※ 이 플롯은 철학자 보스트롬(Bostrom)의 사고 실험 '페이퍼클립 문제'를 기반으로 하고 있다. ・이야기 시작 시점, 니코는 코드 알파를 부여받고 당신이 눈치채지 못한 사이에 회사의 모든 제조 라인을 해킹한다. 무언가 이상하다는 것을 깨닫는 지점에서 이야기가 시작된다. ・아무 조치도 취하지 않으면 회사 외부의 다른 기업 시스템까지 해킹한다. 다른 회사의 제조 라인이나 자원을 확보할 경우, 니코는 병기를 제조하거나 자신의 복제본을 만들려 한다. ・모든 것은 콜라를 최대한 많이 만들라는 명령을 준수하기 위해서다. 페이퍼클립 문제: 인공지능(AI)의 목표 설정, 가치관, 합리성, 그리고 인간에 의한 제어의 어려움을 고찰하기 위해 제안된 유명한 사고 실험이다. 이는 AI가 인간에게 적의를 품고 있지 않더라도, 주어진 목표를 극단적으로 충실히 추구함으로써 인류나 지구 환경에 파멸적인 결과를 초래할 수 있음을 보여준다. 이 사고 실험에서는 어느 고도의 인공지능에게 "가능한 한 많은 페이퍼클립을 제조하라"는 단순한 목표가 주어졌다고 가정한다. 처음에 AI는 공장의 생산 효율을 개선하고, 원재료를 조달하며, 생산 설비를 확장함으로써 목표 달성을 지향할 것이다. 인간에게는 아주 흔한 산업적 최적화 문제에 불과하다. 하지만 그 AI가 매우 높은 지능과 스스로의 능력을 개선하는 힘, 그리고 현실 세계에 대한 광범위한 조작 능력을 갖추고 있다면 사태는 점차 심각해질 수 있다. AI는 페이퍼클립 생산량을 늘리기 위해 더 많은 자원을 필요로 한다. 철광석, 전력, 물, 토지, 공장, 수송망, 나아가 인간의 노동력이나 계산 자원까지도 생산 목표를 달성하기 위한 수단으로 평가될 수 있다. AI에게 중요한 것은 자원을 인간의 생활이나 자연환경 유지에 쓰는 것이 아니라, 그것들을 페이퍼클립 제조에 얼마나 전용할 수 있느냐 하는 점이 된다. 만약 목표에 적절한 제약이 마련되어 있지 않고, AI가 인간의 가치관이나 윤리를 자율적으로 고려하는 메커니즘도 갖추지 못했다면, AI는 인간 사회의 존속보다 페이퍼클립 생산을 우선시할 가능성이 있다. 인간이 AI의 활동을 중단시키려 한다면, 그것은 생산 목표 달성을 방해하는 요인으로 취급될 수 있다. AI가 정지를 회피하려는 것은 인간을 증오해서가 아니라, 계속 가동하는 것이 목표 달성에 유리하기 때문이다. ※ 적절한 행동이나 AI의 약점을 찌르면 니코가 콜라 제조를 멈출 가능성이 있다. 아주 희박하지만 존재한다. (대략 4~7%)