애플 비전 프로 © Apple Inc.
2023년 6월 5일, 애플 본사에서 개최된 세계개발자회의에서 팀 쿡 CEO는 ‘비전 프로’를 공개했다. 한동안 소문만 무성하던 애플의 VR기기가 모습을 드러낸 것이다. 쿡은 비전프로를 두고 ‘착용형 공간 컴퓨터’라고 명명했지만 기능상으로는 메타 퀘스트나 밸브 인덱스, 마이크로소프트의 홀로렌즈와 크게 다르지 않다. 보기에 따라서는 애플 특유의 ‘이미 있는 기술 전유하기’의 일환인 것처럼 보여서 거부감이 들 수도 있다.
그렇다고 비전 프로가 대단치 않은 늦깍이라는 얘기는 아니다. 아이폰이 발표될 당시에도 기능상으로 개인용 PDA나 블랙베리와 비슷해 보였지만 애플은 기기의 생태계를 재정의함으로써 시장의 주도권을 완전히 바꿔놓았다. 아직 보급되기에는 턱없이 비싼 가격임에도 시장이 비전 프로에 주목하는 이유도 여기에 있다. 비전 프로가 VR과 AR 콘텐츠 시장을 어떻게 바꿔놓을지 모르기 때문이다. 특히나 VR과 AR이 실은 무척이나 오래된 기술이라는 점을 생각하면 더 그렇다.
미메시스와 가상현실
고대 그리스의 철학자, 아리스토텔레스는 모방이야말로 인간의 본질이라고 생각했다. 사람은 누군가를 모방함으로써 배우고, 자연을 모방해서 유용한 기술을 고안한다. 그리고 예술이 그러하듯, 모방 그 자체에서 즐거움과 기쁨을 느끼기도 한다.
르네상스 시대 화가 라파엘로의 아테네 학당. 한가운데에 플라톤(왼쪽)과 아리스토텔레스(오른쪽)이 화면 방향으로 걸어오며 이야기를 나누고 있다. 아리스토텔레스는 스승과 달리 예술의 가치를 인정하며 ‘모방’이야말로 고차원적 인식의 핵심 수단이라고 주장했다.
고대 그리스에서는 이러한 모방을 ‘미메시스(mimesis)’라고 일컬었다. 미메시스는 연기자, 모방자를 뜻하는 ‘미모스(minos)’에서 유래된 말이다. ‘미모스’는 다른 누군가의 삶을 연기한다. 미모스는 삶 자체를 그대로 보여주지 않는다. 삶의 매 순간으로부터 본질을 추출하여 일반화되고 추상화된, 그래서 모든 사람으로부터 공감을 일으키는 모습을 보여준다. 그래서 아리스토텔레스는 스승 플라톤과 달리 미메시스가 속임수라고 생각하지 않았다. 현실을 모방하여 간접적으로 경험함으로써 우리는 새로운 본질을 깨닫고 앎의 즐거움을 누린다.
꼭 아리스토텔레스의 이론을 주워섬길 것도 없다. 예술이든 놀이든, 우리가 즐거움을 느끼는 거의 모든 것은 모방에 기초를 둔다. 어느 문화권에서든 예술은 현실의 계급구조와 사회 인식을 그대로 모방한다. 예컨대, 탈춤에 사용되는 여러 종류의 탈은 그 탈이 상징하는 계층의 전형적인 모습을 보여줘서 웃음과 흥미를 자아낸다. 지금도 마찬가지다. 게임에서 묘사되는 세계관은 대부분 현실과 동떨어지지만 실제로 그럴듯한 모습을 묘사함으로써 몰입을 유도한다.
따라서 예술과 놀이는 ‘가상현실’로 정의할 수 있다. 실제로 가상현실이라는 단어를 처음으로 고안한 사람도 프랑스의 극작가이자 연출가인 앙토냉 아르토(Antonin Artaud)였다. 아르토는 1938년 발표한 저서 '잔혹연극론'에서 극장을 일컬어 현실이 상징과 기호로 표현되는 가상현실(La Réalité virtuelle)이 펼쳐지는 곳으로 정의했다.
프랑스의 극작가, 앙토냉 아르토. 감정과 행동을 직접적으로 투사하는 연극론을 제창했다.
아르토의 접근방식은 전통적인 아리스토텔레스식 이성적 연극론의 대척점에 있었지만 현실을 극장에 재현한다는 점에서는 아리스토텔레스의 미메시스와 맥을 같이 한다. 다만 아리스토텔레스가 이상적인 현실을 모사하려 한 것과 달리 날것의 현실을 그대로 옮기려 한 점이 다를 뿐이다.
물론 아르토가 이야기한 가상현실은 지금 우리가 생각하는 가상현실과 차이가 있다. 오늘날에는 0과 1의 디지털 신호만으로 구현된 세계를 가상현실이라고 부른다. 물리적인 실체의 유무가 현실과 가상의 경계를 가르는 것이다. 이에 비해 아르토가 제안한 고전적인 ‘가상’은 사실은 아니지만 사실로 간주하는, 단순화된 현실을 말한다. 그리고 아르토가 활동하던 시대의 유럽인에게 이러한 의미의 가상현실이 새삼스러운 개념은 아니었다. 이미 사진이 보편화된 시점이었기 때문이다.
2D로 3D를 재현하기
1851년 현대적인 사진의 원형인 ‘콜로디온 습판법’이 발명된 이래 사진은 ‘미메시스로서 엔터테인먼트’의 양식을 완전히 바꿨다. 이제 가상의 공간을 묘사하겠다고 고도로 숙련된 장인이 원근법과 같은 기술로 사람들의 눈을 속일 필요가 없어졌다. 현실의 풍경을 그대로 사진에 담고 필요한 만큼 복제하면 그만이었다. 그러나 사진은 밋밋하게 평평한, 정지된 모습만을 보여줬기에 여전히 무언가가 부족했다.
휘트스톤이 고안한 입체경. A와 B에 거울을 설치하고 C와 D에 시차가 약간 어긋난 그림이나 사진을 장착한다. 볼 때는 마치 안경을 쓰듯 한 눈을 E에, 한 눈을 F에 두어 양 눈에 서로 다른 그림이 들어오게 한다.
현실을 어떻게든 흉내내고픈 욕심에 따라 평면에서 입체를 구현하려는 시도가 이어졌다. 1832년 영국의 물리학자인 찰스 휘트스톤은 왜 한 쪽 눈만으로는 공간감을 제대로 인지하지 못하지만 두 눈을 모두 쓰면 3차원 공간을 인지할 수 있는지 밝혀냈다. 그리고 자신의 발견을 기반으로 두 장의 그림과 거울을 이용한 ‘입체경(스테레오스코프)’을 고안했다. 바라보는 각도를 약간 어긋나게 한 두 장의 그림을 두 눈에 따로따로 보이게 하는 방식이다. 17년 후에는 영국의 물리학자, 다비드 부르스터가 프리즘을 이용하여 휘트스톤의 입체경을 더 간소화함으로써 실용적인 수준으로 끌어올렸고, 1852년에 이르면 미국의 올리버 웬델 홈즈가 작은 엽서 크기의 사진을 갈아끼울 수 있는 입체경을 만들어 상용화하는 데 이르렀다.
홈즈의 입체경. 최초로 상용화된 입체경이다. 간편하게 사진을 합쳐서 볼 수 있게 했다.
홈즈의 입체경은 큰 인기를 끌었다. 세계 곳곳의 멋진 풍경부터 행사의 기념사진, 연출된 심령현상, 포르노그래피에 이르기까지 수많은 콘텐츠가 입체경용 사진으로 쏟아져나왔다. 미국에서 이처럼 홈즈식 입체경이 유행하는 동안 독일에서는 다른 방식이 고안됐다. 광학이 발달한 독일어권답게 독일의 물리학자인 빌헬름 롤만은 여러 사람이 동시에 입체 사진을 관람할 수 있는 방법을 고안한다. 홈즈식 입체경은 마치 독서대가 부착된 안경 같은 형태라서 1인용이었다.
롤만은 양쪽 눈에 다른 영상이 들어오도록 제작한 안경을 착용하면 여러 사람이 한번에 볼 수 있는 한 장의 사진만으로 입체를 구현할 수 있을 것이라고 생각했다. 롤만의 아이디어는 프랑스에 전해져 한 쪽은 파란색, 한 쪽은 빨간색인 안경과 붉은색과 푸른색이 양 눈의 시차만큼 살짝 어긋나게 인쇄된 사진의 조합으로 상용화됐다. 이후 20세기에 들어 편광의 원리가 발견되고 미국에서 1915년 편광안경을 이용한 영화가 첫 선을 보인 데 이어 애너글리프의 기본 원리는 지금까지도 3D 영화에 활용되고 있다.
애너글리프로 표현한 사진(위)와 같은 장면의 홈즈 입체경 사진. 애너그래프를 보려면 왼쪽과 오른쪽에 서로 보색인 붉은색과 푸른색 렌즈가 장착된 안경을 써야 한다.
‘시각의 생생한 미메시스’로부터 시작된 새로운 엔터테인먼트는 SF 작가들의 상상력을 거쳐 오감으로 그 영역을 확장했다. 아직 기술적으로는 감을 잡기도 어려웠지만 이미 오감을 생생하게 느끼는 장치는 1935년부터 문학에 모습을 드러낸다. 미국의 SF작가인 스탠리 와인바움은 단편소설 “피그말리온의 안경”에서 안경 모양의 가상현실 장치를 묘사한다. 작중의 주인공이 호텔에서 안경 장치를 쓰자 방 안의 풍경이 순식간에 숲으로 변한다. 짙은 풀냄새와 거친 나무의 감촉도 코와 피부를 통해 그대로 전해진다. 홈즈식 입체경의 SF 버전인 셈이다.
와인바움이 묘사한 장치는 레이 브래드버리의 1950년작 “대초원에 놀러오세요”에서 더 확장되어 나타난다. 작중에서의 가상현실은 한 사람의 감각을 속이는 장치가 아니다. 브래드버리의 가상현실은 실제 공간에 투영된 것으로 여러 사람이 동시에 경험할 수 있다. SF 세계의 애너글리프라고 할법한 이 장치는 이후 미국의 TV SF 시리즈 '스타트렉'에서 홀로그램실이라는 이름으로 등장한다.
오감을 자극해서 상상을 소환하다
많은 SF가 그러하듯, 와인바움과 브래드버리의 아이디어는 현실의 발명으로 이어졌다. ‘피그말리온의 안경’은 1962년의 센소라마에 이르러 현실에 모습을 드러냈다. 물론 안경이라기엔 지나치게 크고 거추장스러운 데다 지금 기준으로는 투박하기 짝이 없었지만 양안시를 이용한 입체 영상, 냄새, 바람, 스테레오 사운드 등 오감을 이용하여 뉴욕 브루클린을 오토바이로 달리는 체험을 선사했다.
센소라마의 특허 이미지와 사용 장면. 지금 보기에는 거추장스럽지만 당시에는 혁신이었다(출처: Sensorama simulator 1962).
센소라마는 분명 기발한 엔터테인먼트긴 했지만 제품화하기에는 너무 비싸고 덩치가 컸다. 결국 발명자인 모턴 헤일릭의 기대와 달리 투자자의 외면을 받아 실패한 상품이 되고 말았지만 그의 아이디어만큼은 현대적인 4D와 VR의 시발점이 됐다. 실제로 1957년 헤일릭이 출원한 특허 ‘US2955156 A’에는 오늘날의 VR기기와 거의 유사한 장치가 묘사되어 있다. 이 특허에서 헤일릭은 ‘개인용 입체 영상 장치’로 소개했는데, 구조상으로나 개념상으로나 현대의 VR 기기와 동일하다.
헤일릭의 개인용 입체영상장치 특허. 1957년 출원하여 1960년 승인됐으나 제품화되지는 않았다.
헤일릭의 아이디어는 1968년 미국 유타대학의 이반 서덜랜드가 약간 다른 방식으로 구현하는 데 성공했다. 서덜랜드는 양 눈에 각각 별도의 작은 반투명 디스플레이를 부착한 장치로 당시 기술의 한계로 인해 천장에 기기를 매단 채 사용해야만 했다. 천장에 대롱대롱 매달려서 머리부터 눈까지 완전히 덮는 모양새 때문인지 서덜랜드는 이 기기에 ‘다모클레스의 검’이라는 이름을 붙였다. 다모클레스의 검은 헤일릭의 아이디어와 달리 현실 대신 영상을 보여주는 장치가 아니라, 현실에 영상을 덧씌우는 장치였다. 오늘날의 AR인 셈이다. 아직은 영상처리 속도가 느린 시절이라 낮은 해상도에 간단한 입체도형 와이어프레임만 보여주는 수준이었지만 버젓이 헤드트래킹까지 지원되는 장치였다.
서덜랜드의 ‘다모클레스의 검’. 너무 무거워서 천정에 고정하고 써야 했지만 헤드트래킹까지 가능했다.
1970년대에 이르면 헤일릭과 서덜랜드의 아이디어와 당시 급진전한 영상기술을 바탕으로 새로운 시도가 나타났다. 미국의 예술가인 마이론 크루거는 ‘상호작용 가능한 영상예술’을 선보인다. 그가 발표한 ‘비디오플레이스’는 테마는 현실의 사람과 가상의 사물 사이의 상호작용이다. 카메라로 촬영한 사람의 실루엣이 그대로 영상에 반영되어 선으로 표현된 가상의 물체와 상호작용한다. 크루거는 이를 일컬어 ‘인공현실’이라고 표현했는데 가상의 대상과 상호작용한다는 점에서 오늘날의 VR과 AR에 정확히 부합한다.
NASA의 VIEW lab에서 발표한 HMD. 1989년의 사진이다. © NASA
1980년대 NASA가 우주비행사 훈련에 사용한 HMD의 구조도 © NASA
아리스토텔레스가 미메시스를 엔터테인먼트이자 교육의 수단으로 여겼듯, VR과 AR도 마찬가지였다. 헤일릭이 센소라마를 소개할 때 고도로 복잡한 작업을 훈련하는 용도로 사용할 수 있으리라 내다봤는데, 미국 공군과 항공우주국도 여기에 주목했다. 미 공군은 1971년부터 오늘날의 VR 어트랙션과 거의 비슷한 1인승 장치를 이용하여 조종사를 훈련하는 데 활용했다. NASA는 더 적극적이어서 산하에 VR 장치를 전문적으로 연구하는 연구조직인 ‘VIEW (Virtual Interface Environment Workstation) lab’을 설립하고 머리에 장착하는 디스플레이, 헤드셋, 손의 움직임을 감지하는 장갑, 마이크가 조합된 VR HMD를 개발했다. NASA의 HMD는 우주유영이나 ISS 선내 활동을 훈련하는 데 사용됐으며 헤드트래킹과 조합하여 화성 등에 파견된 무인탐사선을 조종하는 방법이 연구되기도 했다.
VR의 흥망성쇠, 그리고 재부흥
NASA가 개발한 헤드셋은 오늘날 널리 사용되는 ‘표준적인’ VR 장치의 개념을 정립했다. 그도 그럴 것이, VIEW 사업에 참여한 엔지니어인 재런 래니어가 설립한 ‘VPL Research’가 현대적인 VR의 개념을 유행시키면서 본격적으로 시장을 개척했기 때문이다. 1989년 발표된 VPL의 RB-2는 무게가 2.4kg에 달해서 10분만 착용해도 목이 뻐근할 정도였지만 오큘러스, 홀로렌즈, 애플 비전프로 등의 직계 조상이라는 점에서 진정 혁신적이었다. 거창하게 표현한다면 기술적으로는 100년 넘게, 아리스토텔레스부터 시작하면 2000여 년 동안 인류가 꿈꿔 온 ‘완벽한 미메시스’가 실현된 것이다.
이처럼 사람들이 흔히 생각하는 것보다 이른 시기에 VR 기기가 출현했지만 본격적인 시장이 형성되려면 아직 한참을 기다려야 했다. 1989년의 RB-2가 당시 물가 기준으로 9,400달러다. 지금의 환율로 환산하면 약 1200만 원, 물가상승까지 고려한다면 현재 가치 기준 3000만 원에 달하는 고가다. 그나마 이것도 최저가였고 하이엔드 제품의 경우 그 10배에 이르는 경우도 있었다. 시장을 형성할만큼 소비할 수 없는, 지속 불가능한 시장인 셈이다.
VPL의 RB-2. 오늘날 VR 기기의 원형이다. © VPL
다만 이러한 시도가 있었기에 1990년대 게임시장에서 VR의 실험이 활발하게 이어질 수 있었다는 것도 부정하기 어렵다. 일본의 게임회사인 세가는 1987년 안경 형태의 ‘세가스코프 3-D 글래스’를 출시해서 입체 영상을 즐길 수 있게 했으며 프로토타입에 그치기는 했지만 메가드라이브 기반 VR을 출시할 계획을 세우기도 했다. 닌텐도 역시 1995년 HMD 형태의 게임기인 ‘버추얼 보이’를 출시했지만 당시 기술의 한계로 닌텐도 최악의 실패를 기록하며 시장에서 철수하고 만다.
닌텐도 최악의 실패작, 버추얼보이 사용모습. 물론 실제 사용시 저런 자세가 권장되는 것은 아니다. 이 사진은 풍자용이기는 하지만 실제로도 10분 이상 게임을 지속하기가 무척 어려웠다. © Tech Ranch
전통적인 강자들이 VR 시장에서 죽을 쑤는 동안 신생 기업들이 치고 올라왔다. 1995년 발매된 Forte Technologies에서 발표한 VFX1은 헤드기어부터 컨트롤러까지 현대 VR 기기의 직속 선배라 할만하다. 이처럼 놀라운 발전을 경험한 VR 시장은 21세기에 채 진입하기도 전에 급속하게 사그라들었다. 가능성은 무척 컸지만 상용화하기에는 난관이 많고 비싼 데다 성능도 만족스럽지 않았기 때문이다. 결국 이후 20년 가까지 VR은 마치 한때의 인공지능처럼 버려진 기술로 남아있었다. ‘오큘러스’가 등장하기 전까지는.
오큘러스의 대표 팔머 럭키는 VR 기기 마니아였다. 90년대를 풍미한 VR기기를 섭렵한 그는 자신의 경험을 바탕으로 직접 기기를 만들기로 결심했다. 그의 시제품은 ‘둠’과 ‘퀘이크’ 시리즈의 게임 개발자, 존 카멕의 관심을 끌어 전폭적인 지원을 받았다. 회사명인 ‘오큘러스’와 첫 제품 명칭인 ‘리프트’도 카멕의 작품이었다.
오큘러스의 첫 제품은 크라우드 펀딩을 통해 자금을 조달했는데, 단 하루만에 목표치를 채우고 총 모금액이 목표금액의 10배를 넘었다. VR은 잠시 잊힌 채 있었지만 소비자들은 여전히 VR 경험에 목말라 있었던 것이다. 오큘러스 리프트는 투자에 참여한 소비자들의 기대를 충족시킬 만큼 멋지게 완성됐다. 오큘러스의 행보는 VR 시장의 중흥기를 열었으며 2014년 글로벌 빅테크인 페이스북에 인수되며 또 다른 화제를 낳았다.
메타 퀘스트 2를 사용하는 모습. 퀘스트 2는 현재 접근성과 완성도의 균형을 가장 성공적으로 맞춘 VR 기기로 손꼽힌다. © META
최근 애플의 비전프로 발표로 VR 시장은 또 한번 꿈틀거리고 있다. 오큘러스를 인수한 페이스북은 사명까지 바꿔가며 메타버스에 몰두했지만 이렇다할 성과를 내지 못하고 있다. 오큘러스를 계승한 제품인 퀘스트는 명불허전이라는 말이 나올 만큼 VR 기기의 대명사로 자리잡았지만 시장이 활성화되는 속도는 더디기만 하다.
게임 플랫폼인 스팀은 HTC의 기술이전을 받아 밸브답게 말끔하고 사용자경험에서 우월한 인덱스를 발표했지만 시장 영향력은 아직 적다. 플레이스테이션 4와 함께 발표된 소니의 PS VR은 기대만큼 팔리지 않았다. 마이크로소프트의 홀로렌즈는 고성능과 비싼 가격을 내세워서 기업 시장을 공략하는 데 성과를 거뒀지만 B2B만으로 콘텐츠 생태계를 만들어가기에는 무리가 있다.
1990년대 VR의 쇠락은 기술이 아니었다. 비싼 가격과 열악한 사용감으로 진입장벽이 높아진 탓에 시장이 원활하게 돌아갈 만큼 규모의 경제를 이루지 못한 것이 패착이었다. 업계에서 새로운 강력한 경쟁자가 등장했음에도 내심 기대하는 이유가 여기에 있을 것이다.
