10여 년 전에 글로벌 IT기업의 조직문화를 풍자한 일러스트가 SNS를 통해 널리 공유된 적이 있다. 구글에서 일했던 개발자가 애플과 마이크로소프트 같은 기업의 조직도를 그린 것인데, 거기서 마이크로소프트는 조직들이 서로 총질하는 모습으로 표현됐다. 그만큼 마이크로소프트는 저성과자를 해고하는 가혹한 성과주의로 직원 간 경쟁이 심해서 부서 간 이기주의인 사일로(Silo) 현상이 노골적으로 나타났다.
그러던 마이크로소프트가 10년 만에 완전히 달라졌다. 2014년 CEO로 취임한 사티아 나델라는 경쟁을 부추기는 성과주의 시스템을 폐지하고, 협업과 팀워크를 장려하기 시작했다. 심지어 최근에는 최고의 성과를 내는 팀의 특징을 연구한 조사 보고서를 공개했다. 최고의 팀은 5가지 특징을 가지고 있었다. 팀 목적, 집단 정체성, 인식과 포용, 신뢰와 취약성, 건설적 긴장감이 그 내용이다. 모두 동료와 함께 자신의 아이디어와 역량을 펼칠 수 있는 협업 조건이다. 마이크로소프트는 이런 팀워크를 향상시키는 방법론을 공유하고 있다.
과거에는 ‘한 명의 천재가 조직 전체를 먹여 살린다’는 천재론이 대세였다면, 이제는 ‘팀보다 뛰어난 개인은 없다’는 말이 더 설득력이 있다. 마이크로소프트뿐 아니라 대부분의 테크기업들은 디지털 환경에서 살아남기 위한 가장 중요한 요건이 협업 역량이라고 일컫는다.
왜 그럴까? 그만큼 요즘 비즈니스가 과거와 달라졌기 때문이다. 첫째, 비즈니스에서 기술이나 제품 개발보다 서비스가 더 중요해졌다. 천재는 과거에 없던 이론이나 새로운 기술을 만들어 세상을 바꾼다. 하지만 지금은 새로운 것보다 기존의 이론과 기술을 활용해서 사람들에게 더 나은 서비스를 제공하는 시대가 됐다. 다양한 사람들의 서로 다른 취향을 저격하는 일은 천재 혼자서 감당할 수 없다. 수많은 사람들의 다양한 아이디어가 필요하다.
둘째, 비즈니스의 다양한 영역에서 인공지능, 빅데이터 같은 디지털 기술을 접목해야 하기 때문이다. 예전에는 엔지니어들끼리 모여서 기술을 개발하면 됐지만, 지금은 다양한 서비스에 기술이 들어가야 한다. 그러므로 기업의 다양한 부서 담당자들이 엔지니어와 협업을 해야 제대로 된 서비스를 만들어낼 수 있다. 그래서 팀 내에서의 협업 못지않게 팀을 넘어선 협업, 나아가 회사를 넘어선 협업이 훨씬 빈번해졌다.
이 글이 인공지능을 다루고 있으므로, 인공지능으로 논의를 좁혀 이야기를 해보자. 인공지능 프로젝트에서 인공지능 전문가(AI Engineer)와 현업의 도메인 담당자(Practitioner)의 협업은 크게 기획, 개발, 활용의 세 단계에서 필요하다. 즉 인공지능 프로젝트를 기획할 때, 모델 학습을 위한 데이터를 구축할 때, 인공지능 모델을 활용할 때, 각기 다른 협업이 요구된다.
인공지능 프로젝트 기획에서의 협업: 전략 방향 고려
인공지능 프로젝트에서 초기일수록 도메인 담당자의 역할이 더 중요하다. 도메인 담당자가 프로젝트의 구체적인 방향을 결정하는 데 핵심 역할을 하기 때문이다. 총구가 1mm 벗어나 조준이 됐을 때 목표물은 1m 이상 벗어날 수 있듯이, 초반에 잘못된 방향의 기획은 나중에 돌이킬 수 없는 손실을 발생시킨다.
필자가 대표로 있는 ㈜알고리즘랩스에서도 비슷한 경험을 했다. 최근에 한 신생 패션 쇼핑몰로부터 추천 솔루션을 개발해 달라는 의뢰를 받았다. 대부분의 온라인 커머스 업체들이 가지고 있는 인공지능 기반의 고객 맞춤형 상품 추천을 개발하기를 원했다. 과거 상품 추천은 상품의 범주를 세분화한 후, 특정 카테고리의 제품을 즐겨 구매하는 고객에게 동일 분야의 제품을 추천하는 규칙 기반(Rulebase) 시스템이었다. 그러다가 인공지능 기술이 발전하면서 고객의 구매 특성에 따른 추천이 가능해졌다. 대표적인 기법이 협업 필터링(Collaborative Filtering)으로 세부적인 알고리즘이 여럿 있지만, 이들은 대부분 사용자들의 선택 정보에 따라 선호도를 분류한 후 비슷한 선호도에 따른 선택을 추천하는 방법이다. 양쪽 회사가 이런 생각을 가지고 프로젝트 기획을 위한 모임을 가졌다.
그런데 기획 회의에서 이 고객사의 전략 방향에 대해 듣고 난 후 추천 솔루션의 개발 방향이 완전히 바뀌었다. 이 쇼핑몰은 기존 거래 중심의 커머스가 아니라, 소셜 중심의 커머스를 지향하고 있었다. 회원들이 인스타그램에 들어와서 즐거운 시간을 보내듯이, 앱에 들어와서 보내는 시간을 늘리는 데 많은 노력을 기울였다. 따라서 앱에 들어와서 곧바로 제품을 사는 경우보다 셀러들의 숍을 방문해서 댓글을 달거나 채팅을 하다가 구매로 이어지는 경우가 더 바람직하다고 생각했다. 이런 소셜형 커머스는 미국이나 유럽에서 Z세대가 즐겨 이용하고 있다. 고객의 전략을 제대로 파악하고 나니 상품 추천보다는 셀러 추천 시스템이 더 적합하다고 판단했다. 셀러를 추천 받은 후 그곳에서 시간을 보내다 보면 제품 구매는 따라올 것이기 때문이다. 이러한 논의 끝에 양사는 셀러 추천 솔루션을 개발하기로 결정했다. 고객사의 경영진이 회사의 전략 방향과 이에 따른 인공지능 프로젝트의 목적을 상세히 설명하지 않았다면 상품 추천 시스템을 개발했을 것이다. 상품 추천과 셀러 추천은 데이터 구축부터 완전히 다르기 때문에, 중간에 바꾸려면 커다란 비용이 발생한다.
인공지능 모델 개발에서의 협업: 현업 관행 반영
인공지능 모델 개발 과정에서 시간과 비용이 제일 많이 투입되는 작업은 학습용 데이터를 구축하는 과정이다. 이때도 도메인 담당자의 역할이 매우 중요하다. 비즈니스 관행이 데이터에 스며들어 있기 때문에, 인공지능 담당자는 데이터의 의미를 이해할 수 없는 경우가 많다.
얼마 전에 뉴질랜드의 낙농기업인 폰테라가 인공지능을 활용해 가루우유의 품질을 예측하는 솔루션을 개발했다. 폰테라는 뉴질랜드 낙농분야 1위 기업으로 생산된 우유 대부분을 말려서 분말 형태로 수출하므로 매우 중요한 프로젝트다. 뉴질랜드 최고의 인공지능 전문가들이 참여했지만 개발된 모델의 예측 정확도는 50%를 넘지 않았다.
그래서 현장에서 일하던 실무자들이 긴급 투입됐다. 이들은 세 개의 공장에서 나온 제품이 다르다는 걸 직감했다. 세 공장이 설립된 시기가 달라서 생산시설의 디자인과 공법도 달랐다. 그래서 공장 별로 데이터를 나눴다. 또 어떤 해는 이상 기후가 나타나, 특정 연도는 데이터 특성이 완전히 달라지리라는 사실도 알려줘서 이를 반영했다. 끝으로 현장에서 경험한 것보다 저품질로 기록된 가루우유가 매우 적다는 사실을 발견했다. 면밀히 조사해 보니 품질 관리자의 관행이 반영됐기 때문이었다. 품질 문제는 그에게 좋지 않은 것이다. 그래서 고의로 누락시키지는 않더라도 재생산에 들어간 경우는 데이터를 지우는 방법으로 품질 문제 데이터가 가능한 한 입력되지 않도록 했던 것이다. 그래서 이 경우를 감안해서 저품질 데이터를 더 많이 샘플링해서 넣었다. 이처럼 현업의 도메인 담당자의 인사이트를 반영해서 데이터 셋을 개선한 결과, 95%의 예측 정확도를 보여, AI 프로그램이 성공적으로 도입됐다.
이런 일은 알고리즘랩스에서도 자주 경험한다. 최근에 한 고객사가 제품의 출하가가 일정하지 않은 관행을 고치고자 인공지능으로 제품 출하가를 예측하는 프로젝트를 의뢰했다. 2년 치 데이터를 처리한 후 개발한 모델은 설명력이 70%를 약간 넘었다. 도메인 담당자와 인공지능 개발자가 머리를 맞댔더니, 이 회사의 독특한 비즈니스 관행이 데이터에 들어있는 것을 발견했다. 이 회사는 고객 특성 별로 독특한 판매 조직을 따로 두고 있었다. B2B인지, B2C인지에 따라, 또는 대량 구매 고객인지에 따라 판매 루트가 아예 달랐고, 당연히 가격도 다르게 책정됐다. 이 판매 조직으로 묶어서 모델링을 따로 했더니 설명력이 95% 내외로 나왔다. 데이터는 현업의 도메인 담당자가 제일 많이 알고 있다는 교훈을 얻은 프로젝트였다.
인공지능 모델 활용에서의 협업: 리스크 대응
인공지능 모델이 개발된 후, 이를 활용하기 전에도 도메인 담당자의 역할이 필요하다. 실무에서 활용하기 전에 최종 모델을 파일럿으로 테스트하는 과정을 거치면서 도메인 담당자가 이를 검수하는 과정을 갖는 게 안전하다. 그리고 모델링으로 나온 결과가 오랜 기간 현업에서 경험한 인사이트와 다르다면 모델링을 처음부터 검토해 보는 게 좋다. 도메인 담당자는 모델링 결과와 현업 경험의 차이가 어느 정도인지 끊임없이 고민하고 그 원인을 찾아내는 역할을 해야 한다.
또 도메인 담당자는 모델을 활용할 때 발생하는 리스크를 점검해야 한다. 인공지능은 인격이 없으므로, 입력하는 데이터를 그대로 학습해서 모델링을 한다. 간혹 데이터 중에 들어가지 말아야 할 것이 있을 수도 있는데, 이를 사전에 전부 걸러내기가 쉽지 않다. 그래서 구글의 사진 관리 앱이 흑인을 고릴라로 인식하거나, 마이크로소프트의 챗봇이 히틀러가 옳고, 유대인이 싫다는 인종차별적인 발언을 하는 경우가 생긴다. 우리나라에서도 한 스타트업이 개발한 대화형 챗봇이 성소수자 혐오 성향을 보이고 성희롱 발언을 해서 서비스가 1년 이상 중단된 후 재출시된 적이 있다. 인공지능 솔루션도 다른 솔루션과 마찬가지로 출시되기 전까지는 어떤 리스크가 생길지 모른다. 정식 활용 전에 도메인 담당자는 인공지능 전문가와 긴밀한 협업을 통해 리스크를 점검하는 것이 좋다.
애플은 창업 때부터 마이크로소프트와 비교되고, 지금도 세계 최고 시가총액 1-2위를 다투고 있다. 애플 창업자 스티브 잡스는 코딩을 전혀 하지 못했다. 어릴 때 만난 스티브 워즈니악이 코딩 천재였기에 본인은 일부러 코딩을 배우지 않고 디자인이나 UI에만 관심을 쏟았다. 잡스는 코딩 기술을 하나도 몰랐지만 스마트폰의 창시자로 불린다. 잡스가 문제를 개선하라고 엔지니어에게 지시했을 때, 엔지니어가 “이건 기술적으로 구현하기가 매우 어렵습니다”라고 대답하더라도, 어떤 방법을 써서라도 해결하라고 지시했고, 대부분의 문제는 해결됐다. 잡스는 도메인 담당자다. 결국 도메인 담당자가 인공지능 프로젝트의 주인이다. 그러므로 초기부터 적극적으로 인공지능 프로젝트에 참여해서 인공지능 전문가와 협업을 이어가야 한다. 모르는 게 있으면 물어서라도 참여해야 한다. 필자의 경험으로 보자면, 처음에 귀찮게 하는 고객들이 대부분 나중에 문제가 덜 생긴다.
