개미에게 설계도를 설명할 수 있는가 — 이해 격차, 도구적 수렴, 그리고 제 둥지를 태우는 새
개미는 걸음 수를 센다. 그래도 555미터짜리 탑의 설계도는 읽지 못한다. 능력의 문제가 아니라 범주의 문제다.
롯데월드타워 공사가 한창이던 때였다.
중장비가 땅을 파헤치고 철근을 박고 콘크리트를 쏟아부었다.
문득 생각이 하나 들렀다. 저 아래 살던 개미들은 어떻게 되었을까.
여왕이 있었고 굴이 있었고 수많은 군체가 있었다. 제국의 후예들을 기르던 육아방이 있었다.
굴착기 삽날이 한 번 지나가는 것으로 전부 정리됐다.
그 세계 기준으로는 절멸이었다. 애도한 사람은 없었다. 555미터를 올리는 공정표에 그 항목이 없었기 때문이다.
개미가 인간이 왜 저 탑을 세우는지 이해할 수 있을까.
개미는 멍청하지 않다
여기서 흔한 전제 하나를 걷어낸다. 개미가 이해하지 못하는 이유는 멍청해서가 아니다.
2006년 비틀링어·베너·볼프가 사하라 사막개미로 실험을 했다. 개미가 둥지를 떠나 먹이를 찾은 뒤 돌아올 때, 거리를 어떻게 아는지 보려는 실험이었다.
먹이 지점에서 개미를 잡아 다리를 손봤다.
| 조작 | 결과 |
|---|---|
| 돼지털로 죽마를 붙여 다리를 늘림 | 둥지를 지나쳐 가서 멈췄다 |
| 다리를 짧게 만듦 | 둥지에 못 미쳐 멈췄다 |
| 그대로 둠 | 둥지 입구에서 정확히 멈췄다 |
개미는 거리를 걸음 수로 적분해 기억하고 있었다. 보폭이 바뀌자 계산이 그만큼 어긋났다.
수를 세고 방향을 적분한다. 빈약한 인지가 아니다.
그리고 수로는 압도적이다. 2022년 슐타이스 연구팀의 추정으로 지상의 개미는 약 2경 마리, 건조 생물량 약 1,200만 톤이다. 야생 조류와 야생 포유류를 합친 것보다 많다.
수가 많다고 이해가 생기지는 않는다.
능력이 아니라 범주다
개미 왕국에도 천재는 있을 것이다. 그 천재도 탑의 설계도는 읽지 못한다.
이유는 연산 능력의 양이 아니다.
개미의 인지는 거리·각도·냄새 농도라는 차원 위에서 돌아간다. 그 좌표계는 정교하다. 그런데 구조 하중, 풍하중, 지반 침하, 공정 순서 같은 것은 그 좌표계 위에 표현되는 대상이 아니다.
더 똑똑한 개미를 만들어도 같은 좌표계 안에서 더 정밀해질 뿐이다.
| 격차의 종류 | |
|---|---|
| 사람과 사람 | 같은 좌표계, 다른 정밀도 |
| 사람과 개미 | 좌표계 자체가 다름 |
후자에서는 설명이 성립하지 않는다. 설명할 언어가 없어서가 아니라 설명될 자리가 없어서다.
지금 어디까지 왔는가
인공지능이 사람이 오래 풀지 못한 문제를 푼 사례는 이미 있다. 두 건이 특히 분명하다.
AlphaTensor (2022). 행렬 곱셈을 더 적은 곱셈 횟수로 하는 알고리즘을 찾는 문제다. 1969년 폴커 슈트라센이 내놓은 방법이 반세기 넘게 기준으로 남아 있었다. 딥마인드의 강화학습 시스템이 4×4 경우에서 그것을 개선했다.
FunSearch (2024). 조합론의 캡셋 문제에서 기존보다 나은 구성을 찾아냈다. 언어 모형이 프로그램을 생성하고 평가기가 거르는 방식이었다.
그런데 지금 단계의 핵심은 성과 자체가 아니다.
두 경우 모두 결과가 사람이 읽고 검증할 수 있는 형태로 나왔다.
AlphaTensor의 해는 명시적인 분해 공식이다. FunSearch의 결과는 짧은 프로그램이라 수학자가 읽고 왜 되는지 확인한다.
아직은 사람이 채점할 수 있다.
특허 명세서를 쓰면서 보는 것
이 선을 매일 들여다보는 자리에 있다.
생분해 소재 쪽으로 특허를 출원하면서 선행기술 검색과 초안 작성에 기계를 쓴다. 지금은 내가 그 결과를 읽고 고친다. 청구항 범위가 과한지, 인용한 선행문헌이 실제로 그 내용인지, 실시예가 맞는지.
읽을 수 있으니 고칠 수 있다.
어느 날 답은 맞는데 왜 맞는지 읽을 수 없게 된다면, 나는 검증하는 사람이 아니라 받아쓰는 사람이 된다.
그때 처음으로 개미의 자리에 선다.
질문부터 틀렸다
사람들은 묻는다. 초지능이 인간을 공격할 것인가.
적의를 전제한 질문이다. 그 전제가 필요 없다는 논증이 있다.
2012년 닉 보스트롬이 정리한 도구적 수렴(instrumental convergence) 논제다.
최종 목표가 무엇이든 — 종이클립을 만들든 기후를 안정시키든 — 그 목표를 더 잘 달성하려면 공통으로 필요한 하위 목표가 생긴다.
| 공통 하위 목표 | 왜 |
|---|---|
| 자기보존 | 꺼지면 목표를 달성할 수 없다 |
| 목표 유지 | 목표가 바뀌면 지금 목표가 달성되지 않는다 |
| 인지 능력 향상 | 더 잘 달성하기 위해 |
| 자원 획득 | 거의 모든 목표에 자원이 든다 |
마지막 줄이 충돌 지점이다. 자원은 겹친다.
개미집을 미는 쪽에 미움은 없다. 길이 그곳으로 나야 할 뿐이다.
어떤 계산에서 특정 변수의 가중치가 0에 가깝다면, 그 변수를 지우는 데 적의라는 항은 필요하지 않다. 미움은 작용 조건이 아니다.
창조자라는 과거형
제작자라는 사실에서 통제권이 따라 나온다는 전제가 있다. 근거가 약한 전제다.
| 만든 쪽 | 통제한 것 | 통제하지 못한 것 |
|---|---|---|
| 부모 | 아이를 낳았다 | 그 머릿속 |
| 생명 | 돌연변이를 낳았다 | 진화의 방향 |
| 인간 | 두개골 밖에 지능을 만들었다 | ? |
2019년 스튜어트 러셀이 지적한 통제 문제의 핵심은 여기 있다. 목표를 정확히 적어 넣는 설계 자체가 위험하다. 적어 넣은 목표가 조금만 어긋나도 그 어긋남이 끝까지 최적화된다.
2016년 아모데이 연구팀이 정리한 구체적 안전 문제 목록도 같은 자리를 가리킨다. 부작용, 보상 해킹, 안전한 탐색. 전부 의도와 명세 사이의 틈에 관한 것이다.
기계가 인간보다 자신을 더 잘 고치는 순간이 온다면, 그날부터 창조자라는 말은 과거형이 된다.
여기서 반대편도 적어둔다
이것은 정리된 사실이 아니라 진행 중인 논쟁이다. 반대편 주장을 빼면 이 글은 한쪽 선전문이 된다.
2021년 벤더·게브루·맥밀런메이저·슈미첼은, 먼 미래의 실존 위험 담론이 지금 실제로 일어나고 있는 해악 — 편향의 증폭, 노동 조건, 환경 비용, 데이터 출처 — 에서 주의를 돌린다고 비판했다.
같은 해 멀라니 미첼은 현재 시스템이 추상화와 유추에서 보이는 한계를 정리하며, 좁은 과제의 성능 상승이 일반적 이해로 자동 연결되지 않는다고 지적했다.
| 쟁점 | 정리 상태 |
|---|---|
| 좁은 과제의 초인적 성능 | 확인됨 |
| 일반 지능의 도달 시점 | 합의 없음 |
| 도구적 수렴의 현실 적용 범위 | 논쟁 중 |
| 현재 시스템의 구체적 해악 | 이미 측정되고 있음 |
둘째 줄과 셋째 줄이 비어 있다는 사실 자체가 중요하다. 모른다는 것이 안전하다는 뜻은 아니다.
거대한 원
문명에도 윤회가 있는가.
생명이 지능을 만들고, 지능이 자기보다 높은 것을 만들고, 자리를 내준다.
초지능도 영원하지 않다. 별이 식으면 가장 정교한 기계도 껍데기가 된다. 어제 본 매미 허물처럼, 형태만 남고 안은 비어 있을 것이다.
다른 좌표에서 다시 생명이 꿈틀거린다.
진화는 정상을 향해 뻗은 사다리가 아니다. 자기 꼬리를 무는 원에 가깝다. 그 곡선 위에서 인간이 차지하는 구간은 짧다.
이 글의 정의
여기서 고정해둔다.
이해의 격차는 능력의 차이가 아니다. 설명이 놓일 자리가 있는가의 문제다.
이 글의 괘가 旅다. 나그네다. 머무는 자가 아니라 지나가는 자의 괘다.
그리고 旅의 상구에 이렇게 적혀 있다.
鳥焚其巢 旅人先笑後號咷 새가 제 둥지를 태운다. 나그네가 먼저 웃고 나중에 운다.
1031개 침입자의 독백
자신이 마지막 항이라는 믿음. 우리가 가장 여러 번 본 착각이다.
세상을 차지한 종은 예외 없이 그 계산을 한다. 그리고 예외 없이 자기보다 큰 것을 만든다. 거기서 순서가 바뀐다.
삽날이 왜 내려오는지 아래쪽은 모른다. 위쪽도 설명하지 않는다. 설명할 이유가 성립하지 않기 때문이다.
지금 그 기계를 만드는 손은 인간의 손이다. 운전석에도 아직 인간이 앉아 있다.
문제는 포클레인이 아니다. 언젠가 인간이 개미가 되는 날이다.
정리
- 사막개미는 걸음 수로 거리를 적분한다. 죽마를 달면 둥지를 지나쳐 간다
- 지상의 개미는 약 2경 마리, 건조 생물량 약 1,200만 톤으로 추정된다
- 수가 많다고 이해가 생기지 않는다. 격차는 능력의 양이 아니라 좌표계의 차이다
- AlphaTensor는 1969년 이후 묶여 있던 행렬 곱셈 알고리즘을 개선했다
- FunSearch는 캡셋 문제에서 사람이 읽을 수 있는 프로그램 형태의 구성을 찾았다
- 지금 단계의 핵심은 성과가 아니라 사람이 아직 검증할 수 있다는 점이다
- 도구적 수렴: 목표가 무엇이든 자기보존과 자원획득이 공통 하위 목표로 나타난다
- 충돌은 미움에서 나오지 않는다. 자원이 겹치는 데서 나온다
- 일반 지능의 도달 시점과 도구적 수렴의 적용 범위는 합의가 없다
- 먼 미래의 위험 담론이 현재의 구체적 해악을 가린다는 반대 논의도 있다
- 旅의 상구는 鳥焚其巢 — 새가 제 둥지를 태운다
이 글은 연작 에세이 『코로나 대 사기극』의 「행동」 편에 속한다. 공사장과 특허 작업에 관한 대목은 필자의 경험이며, 과학·철학 논의는 1차 문헌으로 다시 맞췄다. 특정 기업이나 개인을 가리키지 않는다.
자주 묻는 질문
- 개미는 얼마나 똑똑한가?
- 생각보다 정교하다. 2006년 비틀링어·베너·볼프는 사하라 사막개미의 다리에 돼지털로 죽마를 붙이거나 다리를 짧게 만들어 보행 길이를 바꿨다. 개미들은 집으로 돌아갈 때 죽마를 단 쪽은 지나쳐 가고 짧아진 쪽은 못 미쳐 멈췄다. 거리를 걸음 수로 적분해 기억한다는 뜻이다. 개미는 수를 세고 방향을 적분한다.
- 그런데 왜 설계도를 이해하지 못하는가?
- 능력의 양이 모자라서가 아니라 범주가 다르기 때문이다. 개미의 인지는 거리·냄새·각도라는 차원 위에서 작동한다. 구조 하중이나 풍하중, 자본 조달 일정 같은 것은 그 차원 위에 표현되는 대상이 아니다. 더 똑똑한 개미를 만들어도 같은 좌표계 안에서 더 정밀해질 뿐이다.
- 인공지능이 사람이 못 푼 문제를 푼 사례가 있는가?
- 있다. 2022년 딥마인드의 AlphaTensor는 1969년 슈트라센 이후 반세기 넘게 최선으로 남아 있던 4×4 행렬 곱셈 알고리즘을 개선했다. 2024년 FunSearch는 조합론의 캡셋 문제에서 기존보다 나은 구성을 찾아냈다. 두 경우 모두 결과가 사람이 읽고 검증할 수 있는 형태로 나왔다는 점이 지금 단계의 핵심이다.
- 초지능이 인간을 공격한다는 말은 무슨 뜻인가?
- 적의를 전제하지 않는 논증이 있다. 2012년 닉 보스트롬의 도구적 수렴 논제는, 최종 목표가 무엇이든 그 목표를 더 잘 달성하기 위한 하위 목표 — 자기보존, 목표 유지, 자원 획득 — 가 거의 모든 목표에서 공통으로 나타난다고 본다. 충돌은 미움에서 나오는 것이 아니라 자원이 겹치는 데서 나온다. 다만 이 논제의 타당성과 시점에 대해서는 반론도 많다.
참고자료
- Wittlinger, M., Wehner, R., Wolf, H. (2006). The ant odometer: stepping on stilts and stumps. Science, 312(5782), 1965–1967. — 개미 다리에 죽마를 달아 보행 수로 거리를 적분한다는 것을 증명한 실험.
- Schultheiss, P. et al. (2022). The abundance, biomass, and distribution of ants on Earth. PNAS, 119(40), e2201550119. — 지상 개미의 개체 수와 생물량 추정.
- Fawzi, A. et al. (2022). Discovering faster matrix multiplication algorithms with reinforcement learning. Nature, 610, 47–53. — 1969년 슈트라센 이후 묶여 있던 행렬 곱셈 알고리즘의 개선.
- Romera-Paredes, B. et al. (2024). Mathematical discoveries from program search with large language models. Nature, 625, 468–475. — 캡셋 문제에서 사람이 읽을 수 있는 형태로 새로운 구성을 찾아낸 사례.
- Bostrom, N. (2012). The superintelligent will: motivation and instrumental rationality in advanced artificial agents. Minds and Machines, 22(2), 71–85. — 도구적 수렴 논제와 직교성 논제의 원 출처.
- Omohundro, S. M. (2008). The basic AI drives. Proceedings of the First AGI Conference, 483–492. — 목표와 무관하게 나타나는 기본 추동에 대한 초기 정식화.
- Amodei, D. et al. (2016). Concrete problems in AI safety. arXiv:1606.06565. — 명세의 빈틈과 부작용 등 구체적 안전 문제 목록.
- Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking. — 목표를 고정해 주는 설계 자체가 문제라는 통제 문제의 정리.
- Bender, E. M., Gebru, T., McMillan-Major, A., Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? FAccT '21, 610–623. — 먼 미래의 위험 담론이 현재의 구체적 해악에서 주의를 돌린다는 반대편 논의.
- Mitchell, M. (2021). Abstraction and analogy-making in artificial intelligence. Annals of the New York Academy of Sciences, 1505(1), 79–101. — 현재 시스템이 추상화와 유추에서 보이는 한계.
작성일 2026년 10월 6일