수면 아래에서 발전하고 있다가 수면 위로 올라오기 시작한 기술이 있습니다.
단어만큼은 우리에게 정말 익숙한 '인공지능(AI)'과 '머신러닝(ML)'입니다.
우리는 AI로 챗봇을 만들기도 하고, 표절을 가려내기도 하며, 보안에 활용되기도, 얼굴을 인식해 잠금장치를 해제하기도 합니다.
그리고 ML로 콘텐츠를 추천 받기도 하고, 소비자의 구매 성향을 알아내기도 하며, 사기성 결제를 식별해내기도 합니다.
활용 범위가 너무나도 넓은 이 기술은, 그 활용 범위가 너무나 넓기에 굳이 설명하지 않아도 부가가치가 어마무시하다는 것을 짐작해 볼 수 있습니다.
AI와 ML로 사람들이 관심을 가질만한 제품을 만들고 광고를 끼워 파는 정말 흔한 방법부터, 해당 기술을 '활용해' 더 나은 결과를 이끌어낼 수 있다는 점에서 해당 기술력의 대단함을 엿볼 수도 있습니다.
참고:
Dall-E2 - OpenAI (Text to Image AI)
Portrait AI (Photo to Artwork AI)
Chat GPT - OpenAI (AI Chatbot)
한 가지 예시로 8월 아마존이 로봇 청소기 제조사 iRobot을 인수한 것을 들 수 있습니다.
아마존이 로봇 청소기 제조사를 인수한 이유가 무엇일까요? 로봇 청소기들을 만들고 아마존을 통해 팔기 위해서?
아마존의 인공지능 비서 "ALEXA"에 필요했기 때문입니다.
ALEXA는 2014년 11월에 처음 출시된 AI 스피커입니다. ALEXA는 다양한 음성 명령을 통해 사용자와 대화를 하고 날씨, 교통 정보 등을 알려주기도 합니다.
당장은 해당 부서가 아마존의 매출에 큰 타격을 주고 있다는 말이 많지만, ALEXA와 로봇 청소기의 결합은 분명 기대할만한 것입니다.
"ALEXA, 안방 청소해줘"
ALEXA와 로봇 청소기의 결합이라고 하면 아마 이러한 이미지가 연상 되었을 것입니다.
그러나 로봇 청소기의 기능 중 ALEXA에게 진정 필요한 기능은 청소가 아니라 방의 구조와 물건들을 인식하는 기능입니다.
이 기능으로 ALEXA는 해당 가구에 살고 있는 사람의 특징, 어떤 생활 패턴을 필요로 하는지, 취미가 무엇인지 등 정말 다양한 것들을 알아낼 수 있습니다.
거실에 강아지 장난감들이 널부러져 있다면 분명 그 가구에서는 애완견을 키우고 있을 것이고, ALEXA는 이 정보를 업데이트 해 그에게 강아지 용품에 대한 광고를 전달할 수 있게 됩니다.
사생활 침해 등의 이슈가 있지만, 정말 필요한 광고를 전달해 구매전환율이 높일 수 있다는 것은 분명 휼륭한 가치입니다.
또 다른 예시로 인공지능을 활용한 그림 대회를 들 수 있습니다.
Jason Allen은 미국 콜로라도 주립 박람회 미술대회에서 AI를 활용해 디지털 아트 부문에서 1위를 차지했습니다.
AI에게 그림을 그려 달라고 요청하고 AI가 그림을 그리는 동안 넷플릭스나 시청하고 있었다면 문제가 되었겠지만,
Jason Allen은 AI를 활용했다는 논란에 대해
"나는 이 작품을 만들기 위해 특별한 프롬포트를 연구해왔고, 이를 이용해 100개에 달하는 이미지를 만들었으며 몇 주 간의 미세조정과 큐레이션을 거친 뒤 Gigapixel AI로 풀어내고 가장 나은 3개 작품을 캔버스에 인쇄했다"고 전했습니다.
그는 AI에 '의지'한 것이 아니라 '활용'했음을 증명했고, 주최 측 또한 그가 대회 지원 이전에 이를 밝혔다는 점을 근거로 그의 편을 들어주었습니다.
AI로 '특정한 무언가를 대체했다는 것'이 아니라 이를 활용해서 '더 나은 무언가를 만들어냈다는 것'입니다.
세상은 정말 빠른 속도로 발전하고 있고, 여러 기업들은 다방면에서 발전된 기술력을 차용하고 있습니다.
그런데 이제 막 수면 위로 올라온 이 놀라운 기술은, 이제 겨우 시작이라는 것을 알아야 합니다.
모든 발전을 가속화 시키는 한 기업
"We are using Ray to train our largest models. It’s been very helpful to us to be able to scale up to unprecedented scale."
"우리는 우리의 가장 큰 모델을 학습시키기 위해 Ray를 사용하고 있습니다. 이는 전례 없는 규모로 확장시킬 수 있게 했기 때문에 엄청 큰 도움이 되었습니다."
Greg Brockman, OpenAI 창업가 & CTO
최근 SNS 상에서 많은 이들을 놀라게 한 그림 AI와 챗봇을 만든 OpenAI 사의 CTO가 극찬한 제품이 있습니다. Ray입니다.
Ray가 없었더라면 지금과 같은 기술력을 갖추기 위해서는 훨씬 오랜 시간이 걸렸을 것이라는 뜻으로 해석되기도 합니다.
Ray는 Anyscale에서 만든 머신러닝 인프라의 구축을 위해 사용되는 프레임워크로,
현재 IBM, 메타, 우버, 라이엇게임즈 등 여러 대기업들이 Ray를 사용 중입니다.
그래서 이 프레임워크가 무엇이 그렇게 대단한 것일까요?
최근 Ray2.0 업그레이드를 마치고 시리즈 C 펀딩 9,900만 달러의 추가 투자 유치를 한 Anyscale이 말하는 Ray의 강점은 다음과 같습니다.
분산 컴퓨팅을 위한 단순한 API
분산 컴퓨팅은 하나의 문제를 해결하기 위해 다수의 컴퓨터가 협업하도록 만드는 것을 뜻합니다.
페이스북에 올라오는 수많은 사진 및 영상 자료들을 여러 컴퓨터에 나누어서 저장해두는 것이 그 예시 중 하나로,
해야 할 일이 늘어날 때 컴퓨터를 하나 더 추가할 수 있는 확장성, 컴퓨터 하나가 오류를 보이더라도 계속 작동할 수 있는 가용성, 리소스 사용을 최적화할 수 있는 효율성 등의 이점이 있습니다.
이 분산 컴퓨팅은 하드웨어, 미들웨어, 소프트웨어를 넘나들며 여러 시스템이 함께 작동하기 때문에 시스템 개발이 어렵다는 단점이 있습니다.
그러나 Ray는 이 과정을 유연하고 단순하게 만든 API를 제공함으로써
하나의 값에서 다른 값으로 대응시키는 "매핑"을 지원하고 다양한 병렬 패턴을 단순화할 수 있었습니다.
워크로드 확장성
워크로드는 리소스와 코드의 모음을 뜻합니다.
AI나 ML은 엄청난 수의 워크로드를 가지고 있으며, 이를 관리하는 것은 그 수에 비례해 어려움이 증가하게 됩니다.
이 엄청난 수의 워크로드는 전력 및 냉각 문제 등 데이터 센터에 부담을 안겨주기도 합니다.
그렇기에 워크로드의 스케일을 줄여야 할 필요가 생길 때도 있으며, 반대로 높은 사양이 필요해져 스케일을 늘려야 할 필요가 생길 때도 있습니다.
그러나 워크로드 스케일은 조정하는 과정에서 캐시가 누락되는 경우가 빈번하게 일어날 수 있으며,
캐시가 누락되게 되면 서버가 DB로 누락되었다는 요청을 보내야 하기 때문에 부하가 발생할 수 있습니다.
Ray는 모델 훈련의 규모를 조정하고 리소스 요구량에 따라 자동으로 스케일업을 하거나 스케일다운을 하는 기능이 있다는 설명입니다.
능률적인 통합성으로 일처리의 단순화
AI를 완성 시키기 위해서는 훈련을 시키는 것 외에도 다양한 요소들이 필요합니다.
기본적인 엔지니어링부터 변수 조정, 데이터 처리와 같은 것들이 필요하고, 이는 각각 전부 다른 API를 사용해야 한다는 번거로움이 존재했습니다.
특히 데이터 처리의 과정에서, 일반적으로 데이터 처리 툴은 정형 데이터를 대상으로 하지만 AI는 이미지, 비디오와 같은 비정형적인 데이터에 의존한다는 점 또한 상당히 번거로운 부분이었습니다.
이어서 워크로드의 기하급수적인 증가 수준은 더 개선된 하드웨어를 요구하고 있기도 합니다.
하나의 애플리케이션을 만드는데 A, B, C가 필요하다면 A, B, C각각에 맞는 시스템을 사용해야 하고, 만약 나중에 D가 필요해지게 되었을 때 추가적으로 시스템 D를 사용해야 한다는 것은 듣기만 해도 관리가 어려울 것임을 알 수 있습니다.
Ray는 라이브러리 통합으로 다양한 프레임워크로의 전환을 불필요하게 만든 플랫폼을 구축,
통합된 툴킷을 제공하고 인스턴스화를 할 때 다양한 하드웨어를 지정할 수 있게 지원해 완벽한 개발자 입장의 환경을 조성하는데 성공했습니다.
문제, 그리고 솔루션
Globe Newswire에 따르면 지난 몇 년 간 ML에 대한 계산 요구량은 18개월마다 10~35배 씩 증가했습니다.
분명 여러 AI 프로젝트들은 많은 문제를 해결하고 있지만, 이 계산 요구량의 증가와 복잡한 엔지니어링은 빈번하게 충돌하는 모습을 보입니다.
AI프로젝트를 진행하는 기업의 약 1/4에 달하는 기업들이 50%에 육박하는 프로젝트 실패율을 보이며, AI 및 ML 프로젝트 중 78%가 배포되기 전의 단계에서 정체되었고,
AI를 학습시키는 과정 중 81%가 그들의 예상보다 어려웠다고 조사되었습니다.
실제로 그동안 대기업들의 많은 AI 프로젝트가 문제를 일으키거나 서비스를 종료하는 모습을 보였습니다.
아마존의 AI 채용 시스템은 기술 분야에서 성별에 대한 편견을 지울 수 있는 기준을 학습 시키지 못해 2017년 폐지되었고,
아마존의 인구통계학 정보 해석 프로그램 Amazon Rekognition은 피부가 어두운 사람들의 성별을 판별하지 못하는 문제와 함께 국회의원들의 얼굴을 범죄자의 사진과 매칭시키는 오류를 보이기도 했습니다.
구글의 당뇨망막병증을 진단하는 AI는 불완전한 사진에 대해 정확한 진단을 내리는 것에 어려움이 있었고,
IBM의 자연어 응답 시스템인 왓슨은 일부 암환자들에게 위험한 처방을 내리기도 했습니다.
마이크로소프트의 챗봇 Tay는 사람과 편안하게 장난치는 것을 목적으로 만들어졌지만 이내 편향된 데이터의 학습으로 인해 트위터에 공격적인 선동 게시물을 올리게 되었습니다.
각 프로젝트마다 연 단위의 개발 기간과 기간에 비례한 비용이 소요되어도 여전히 실패 사례는 많으며, 이보다 훨씬 많은 프로젝트들이 정체 되어있는 상황입니다.
그러나 Ray의 등장으로 엔지니어링은 훨씬 직관적으로 바뀌었고, 다른 응용 프로그램으로 넘어가는 과정에서 코드를 변경할 필요가 거의 없어졌습니다.
구조화되지 않은 데이터를 처리하기 용이해졌고, 빠르며, 간편합니다.
이제 사용자는 확장성에 대한 고민 없이 오로지 기계를 학습 시키는 것에만 집중할 수 있습니다.
AI 프로젝트는 여전히 실패할 수 있습니다. 그러나 시행착오가 반복되면서 실패율은 크게 줄어들 것입니다.
Ray는 다양한 기업들이 시행착오를 겪는 과정에서 그들의 비용과 시간을 크게 절감 시켜줄 수 있고, 절감되는 만큼 기업들은 더 많은 도전을 할 수 있으며, 시장은 성장해 나아갈 것입니다.
기술의 발전 속도는 나날이 가속이 붙고 있습니다.
종이와 잉크에서 유선 전화까지, 유선 전화에서 무선 전화까지, 무선 전화에서 스마트폰까지 발전의 텀을 비교해보면 기술의 발전 속도는 우상향하는 직선이 아니라 우상향하는 곡선임을 짐작해볼 수 있습니다.
가속도를 한 단계 더 붙이는 요소 중 하나는 역시 일의 효율성을 늘리는 것입니다. 가령 신용의 존재, 오늘날 기업의 구조 등이 없었다면 기술의 발전은 직선이었을지도 모르겠습니다.
그리고 Ray는 일의 효율성을 늘리는 요소입니다. 발전 가속도를 붙이는 요소라는 뜻입니다.
“Ray is quickly becoming the industry standard for scaling machine learning, Python and AI workloads, solving one of the biggest obstacles today to realizing AI’s full potential.”
"Ray는 ML, 파이썬과 AI 워크로드를 확장하는 업계 표준이 되고 있고, AI 발전의 잠재력을 실현하는데 방해가 되는 가장 큰 장애물 중 하나를 해결 중입니다."
Nick Washburn, Intel Capital 전무이사
마치 Anyscale의 IR자료와 같은 글이 되어버렸지만, 필자가 말하고 싶은 핵심은 단 한가지입니다.
요긴한 것이 등장했으니, 앞으로의 AI & ML의 발전 속도는 분명 기대해볼 만하다는 것입니다.
시장이 언제쯤 어느 정도 규모로 성장할 수 있고 정확히 어느 기업에 투자해야하는지에 대한 고민은 지금 단계에서는 유의미하지 않을 수 있지만,
대략적인 것에 대한 인지를 하고 관심을 유지하는 것과 그렇지 않는 것은 투자에 있어서 분명 큰 차이를 가지고 올 것입니다. 특히 기술에 대한 발전은요.
세 줄 요약:
1. Anyscale의 Ray는 머신러닝 인프라의 구축을 위해 사용되는 프레임워크, 기존 엔지니어링의 복잡성을 크게 개선함
2. 이를 통해 시행착오에서 비롯되는 비용을 크게 절감하고 개발 속도를 대폭 상승 시킬 수 있음
3. Ray의 발전이 거듭됨에 따라 AI 및 ML시장의 성장 속도는 곱절로 가속화될 것으로 기대됨
토론