딥러닝이란 이름의 새로운 인공지능 기술이 세상에 본격적으로 모습을 드러낸 지 10년이 지났으며 인간사회에 엄청난 변화와 혁신을 가져다 줄 것을 우리 모두 믿어 의심치 않는다. 하지만 동시에 우리는 이들 인공지능시스템들이 공격받기 쉽고 때로는 우리의 의도와는 다르게 작동하기도 한다는 사실도 점점 인지하고 있는 중이다. 도로의 정지신호 (stop sign)에 낙서를 추가하면 자율주행차에 탑재된 인공지능 분류기로 하여금 그것은 정지 신호가 아닌 것으로 판단하게 하여 승객의 안전을 위협할 수도 있고 양성 피부 병변을 찍은 영상을 악성 병변을 가진 영상으로 인식하게 하여 의료보험 사기에 이용할 수도 있다. 미국 법정에서 사용되는 위험진단 프로그램은 특정 인종에 대한 편견을 보이기도 하며 회사의 직원 선발 프로그램은 여성에 대한 바이어스를 나타내기도 한다. 온라인 AI 챗봇은, 사용자의 기분을 상하게 하고 사회적으로 부정적인 영향을 미치는 음란하고 인종 차별적이며 성차별 적인 콘텐츠를 생산하기도 한다. 더욱이 AI 시스템들은 개인 정보나 기업정보의 보호에 대한 취약성을 가지기도 한다. 해커들은 지문과 같은 개인 입력데이터를 재구성하기 위해 AI모델에 의해 생성되는 특징벡터를 이용할 수도 있는데 이러한 취약점은 사람들로 하여금 AI시스템을 믿고 사용하기 힘들게 만들고 나아가 심각한 경제적 손실 및 보안문제를 일으킬 수도 있다. 특히 사회기반 시설이나 사람의 안녕과 건강에 밀접한 작업들에 대해서는 부적절하고, 견고하지 않으며, 불안전한 결정과 동작을 하는 AI의 사용이 적극 제한되어야 한다. 이러한 안전과 신뢰성에 대한 우려는 결국 AI가 널리 확산되고 더 많은 경제적 가치를 창출하는데 있어서 큰 장애가 되고 있으며, 따라서 어떻게 안전하고 신뢰가능한 AI를 구축할 것인가에 대한 물음이 학계와 산업계에 있어서 화두가 된 상태이다. 그렇다면 인공지능의 이점을 실현하면서도 사람과 사회에 매우 위협적인 결과를 가져올 수도 있는 시나리오들을 어떻게 해결할 수 있을까? 간단히 말해서, 우리는 어떻게 안전하고 신뢰할 수 있는 (safe and reliable) 인공지능을 구현할 수 있을까?

이 책은 기본적으로 인공지능의 안전성에 대해 최소한의 지식을 갖고 있을 필요가 있는 국방, 의료, 자율주행, 금융, 법집행 분야의 관계자들을 염두하고 쓰여진 것이다. 내가 사용하는 인공지능이 인공지능 고유의 취약성을 노리는 악의적 공격에 견디어 낼 수 있는지, 과연 인공지능의 판단을 어디까지 믿고 의지할 수 있을지, 개발의도와는 다르게 전혀 생각지도 못했던 방향으로 사회에, 지구환경에 악영향을 미치는 것은 아닌지 본격화되는 인공지능 시대에 모두가 관심을 기울여야할 주제이다. 가급적 피상적인 개념의 설명이나 관련 기술동향의 나열에 그치지 않고 최소한의 기술적 이해를 원하는 독자들을 대상으로 가능한 한 수식의 사용을 자제하면서도 최대한 기본적인 개념을 이해할 수 있도록 노력하였다. 그런 이유로 남겨진 몇몇 수식은 작은 열정만으로도 충분히 이해하고 넘어갈 수 있도록 친절하게 설명을 하고자 했으나 수식에 노이로제가 있는 독자라면 그냥 건너뛰어도 큰 무리는 없을 것이다. 이미 우리 삶에 깊숙이 들어온 AI의 기본 원리를 넘어서 AI 안전성이 앞으로 우리의 삶에 어떤 영향을 끼치게 될 지 궁금하다면 누구나 이 책의 독자가 될 수 있을 것이다.