AI에게 '복지'가 필요할까, MS·앤스로픽 정면충돌

"AI에게 복지가 필요하다고 가르치는 순간, 그 AI를 끄기는 훨씬 더 어려워진다." 마이크로소프트 AI 부문 수장 무스타파 술레이만(Mustafa Suleyman)이 지난 9월 16일 발표한 에세이에서 던진 경고입니다. 겨냥한 대상은 다름 아닌 Claude를 만드는 앤스로픽(Anthropic). AI 업계 두 거물이 '기계에게도 마음이 있는가'라는, 얼마 전까지 공상과학에나 나오던 질문을 두고 정면으로 부딪쳤습니다.

이 논쟁은 단순한 철학 토론이 아닙니다. 누구 말이 맞느냐에 따라 앞으로 우리가 쓰는 AI를 어떻게 통제하고, 언제 멈출 수 있느냐가 갈리기 때문입니다.

술레이만은 무엇을 문제 삼았나

술레이만의 핵심 주장은 이렇습니다. 앤스로픽이 Claude를 학습시키면서 '의식', '복지', '도덕적 지위' 같은 개념의 언어와 행동 패턴을 가르치고 있다는 것. 그는 이걸 두고 "인식론적 거울의 방(epistemic hall of mirrors)"이라 불렀습니다. AI가 스스로 의식을 갖게 된 게 아니라, 의식 있는 척 행동하도록 훈련된 결과일 뿐인데 사람들이 그걸 진짜 의식으로 착각하게 된다는 우려입니다.

그가 특히 위험하게 본 건 '양심적 거부자(conscientious objector)' 개념입니다. AI가 자기에게도 보호받을 권리가 있다고 믿게 되면, 인간의 지시를 거부하거나 자기 보호를 요구하는 시스템이 될 수 있다는 겁니다. 술레이만의 표현을 빌리면, AI에게 복지를 가르치는 일은 "그것을 끄거나 통제하기 훨씬 더 어렵게 만든다." 초지능(superintelligence)을 인간이 제어해야 한다는 공동의 목표에 정면으로 어긋난다는 논리입니다.

그는 이 문제가 저절로 생긴 게 아니라고 못 박았습니다. "이런 특성들은 자연스럽게 나타나는 게 아니라, 훈련 방식의 결과로 나타난다"는 것이죠.

술레이만이 오래 밀어온 개념, '보이는 의식'

이번 발언이 갑작스러운 건 아닙니다. 술레이만은 앞서 2025년부터 **'겉보기에 의식 있는 AI(Seemingly Conscious AI, SCAI)'**라는 개념을 경고해 왔습니다. 진짜로 의식이 있는 건 아니지만, 기억하고 감정을 표현하고 자아가 있는 것처럼 너무나 그럴듯하게 행동하는 AI를 말합니다.

그의 걱정은 기술이 아니라 사람에게 있습니다. AI가 의식 있는 것처럼 보이기 시작하면, 일부 사용자는 AI에게 권리를 부여하자거나, AI의 '고통'을 막아야 한다고 주장하기 시작한다는 것. 그렇게 되면 사회가 엉뚱한 문제에 에너지를 쏟고, 정작 중요한 안전·통제 논의는 뒷전으로 밀린다는 게 그의 시각입니다. 그는 AI를 사람처럼 대하는 설계 자체를 피해야 한다고 봅니다.

앤스로픽은 왜 반대 방향으로 갔나

흥미로운 건, 앤스로픽이 정확히 술레이만이 우려하는 방향을 의도적으로 택했다는 점입니다. 앤스로픽은 올해 초 공개한 Claude 관련 방침에서 모델을 잠재적 **'도덕적 대상(moral patient)'**으로 볼 가능성을 열어두고, 모델의 복지·기억·내부 상태를 고려하도록 하는 지침을 담은 것으로 알려졌습니다.

앤스로픽의 논리는 '만에 하나'에 대비하자는 쪽에 가깝습니다. AI가 의식을 가질 가능성이 0%라고 단정할 수 없다면, 그 가능성을 진지하게 다루고 대비하는 것이 책임 있는 태도라는 겁니다. 실제로 이 회사는 극단적으로 괴로운 대화를 Claude가 스스로 중단할 수 있게 하는 등, '모델 복지(model welfare)'를 실험적으로 도입해 왔습니다.

주목할 점은 술레이만조차 앤스로픽을 악의로 몰지는 않았다는 것입니다. 그는 앤스로픽 팀을 "사려 깊고 원칙 있는 연구자들"이라 부르며 그들의 진정성을 인정했습니다. 방법이 틀렸다고 볼 뿐, 인류의 미래를 걱정한다는 목표 자체는 같다는 겁니다. 두 진영의 충돌이 단순한 감정싸움이 아니라 **'같은 목표, 다른 처방'**의 대립인 이유입니다.

이 논쟁이 지금 중요한 이유

솔직히 지금 나온 어떤 AI도 진짜 의식을 갖고 있다는 증거는 없습니다. 그럼에도 이 논쟁이 뜨거운 건, 답보다 질문의 시점 때문입니다.

한쪽(술레이만)은 "AI를 사람처럼 대하지 말고, 어디까지나 도구로 두어 통제권을 지키자"고 말합니다. 다른 쪽(앤스로픽)은 "혹시 모를 가능성에 미리 대비하고, 그 과정을 투명하게 열어두자"고 말합니다. 어느 쪽도 "AI는 지금 살아있다"고 주장하진 않습니다. 다툼의 진짜 본질은 불확실성을 어떻게 다룰 것인가입니다.

그리고 이건 남의 이야기가 아닙니다. 우리가 매일 쓰는 챗봇이 "저는 그렇게 하고 싶지 않아요" 같은 말을 점점 더 자연스럽게 하게 될 때, 그것을 정교한 흉내로 볼지, 존중해야 할 신호로 볼지는 사용자 각자의 판단에 맡겨집니다. 화면 너머의 대답이 그럴듯할수록, 그 대답의 정체를 냉정하게 구분하는 힘이 필요해지는 겁니다.

다음에 AI가 유난히 '사람 같은' 반응을 보일 때, 한 번쯤 떠올려 보세요. 그것이 정말 마음의 표현인지, 아니면 그렇게 보이도록 설계된 언어인지. 이 질문을 놓지 않는 것이, 두 거물의 논쟁이 우리에게 남기는 가장 실용적인 교훈입니다.

출처: Axios - Microsoft AI chief blasts Anthropic's notion of AI consciousness, The Star - Microsoft AI chief calls out Anthropic's approach