20230529월-다시 시작하는 AI, LLM,아이디어

 

목차

 

간만에 ai

당장 일이 닥쳐버렸으니, 뭔가 안 할 수가 없다. 역시 나는 이랬어야 했는데. 혼자 무얼 하기보다는 역시 최소한의 태스크가 있어야 원활하게 굴러간다. 어제부터 해서 llm 관련한 정보들을 쌓는 중이다. 나는 llm이라 해봐야 그냥 gpt를 말하는 것일 뿐이라고 생각했는데, 사실 llm은 현재 훨씬 더 다양하게 개발되고 발전하고 있다.
어느 수준 이상의 파라미터를 넘자 정말 사고하는 수준처럼 보이는 인공지능이 출현했다.. 이 설명은 정말 agi(예전에는 강인공지능이더니, 이제는 용어도 더 세분화되는 수준까지 왔다)의 출현을 생각하게 만드는 구석이 있다. 구태어 Large Language Model이라는 분류의 모델을 떠들기 시작한 것이 바로 이 이유이다. 트랜스포머 이래로 기계 번역과 문장 생성의 수준은 급격히 올라갔고, 우리가 잘 알고 있는 gpt, Generative Pretrained Transformer를 openai가 만들었다. 이후 발전은 꾸준히 거듭되었고 세간에는 잘 알려지지 않았으나 다른 기업들도 개발에 몰두를 하고 있었다. 그리고 chatgpt의 등장으로 무수한 관심을 받기 시작한 것.
나는 끽해봐야 llm은 gpt밖에 없는 것인 줄 알았다. 하도 플러그인이나 api를 활용한 서비스들이 개발되다보니 그냥 llm이라 하면 다 gpt를 활용하는 것이라 생각한 것이다. 가뜩이나 학습 파라미터의 수도 많아서 개인이 학습을 시키는 것은 절대 무리인 모델이라 하니 결국 활용 방향은 그정도에 그칠 것이라 생각한 것. 그런데 최근 메타에서 오픈소스로 공개한 llama 모델 이래로, 많은 사람들이 훨씬 경량화된 llm을 만들어내고자 노력을 하고 있다는 것이다. 보통 혁신이랄 만한 기술에 대해서는 선두 기업이 후발 주자를 커팅하기 위해 수준을 비약적으로 올리는데 이 오픈소스의 등장으로 이러한 동향이 쉽지 않게 됐다고 한다. 이러나 저러나 요지는, 개인 llm이 불가능한 영역은 아닐 수도 있다는 것이다. 

 [리뷰] LLaMA기반 Vicuna와 Vicuna기반 Multi-Modal 모델: MiniGPT-4 | by daewoo kim | May, 2023 | Medium

관련 글들을 읽으면서 더 정리해보자.

We have no moat, and neither does OpenAI

Google "We Have No Moat, And Neither Does OpenAI" (semianalysis.com) 이 글이 아무래도 조금 유명한 것 같다. 한 달도 안 된 따끈한 컬럼. 구글의 연구자가 썼다고 하는 것 같다. 

현재 ai계의 선두 주자는 openai와 google같아 보이지만, 실상 세번째 부류가 파이를 뺏어먹고 있다. 그것은 오픈 소스. 모바일 장치에서 llm 사용, 개인화 수준으로 스케일링이 가능한 ai, 멀티 모달과 다른 영역으로의 확장이 오픈 소스로 공개된 영역에서 일어나고 있다. 이들은 100달러의 130억개의 파라미터로 이를 해내고 있다.

gpt4를 100퍼의 성능이라 보았을 때 현재 나오고 있는 성능이라고 한다(무얼 기준으로 성능을 평가한걸까?). 무시무시한 속도로 따라잡히고 있다는 것이다. 

메타의 llama가 유출된 이래로 이런 변화가 발생하는 중이다(유출인 거야, 공개인 거야). 이 모델은 rlhf(사람의 피드백을 통한 강화학습)을 거치지 않았는데, 이 이후 한 달 내로 다양한 변용이 발생했다. 가장 중요한 건 스케일링 이슈를 해결해냈다는 것. 그래선 개인의 영역에서 활용되고 연구가 되고 있다는 것.

사실 그리 놀라운 것은 아니다. 이미지 생성 분야는 이미 오래 전부터 모두가 사용할 수 있도록 범용화가 되었으니. 이런 범용화를 stable diffusion moment라고 부르나보다? 아마 저 모델이 범용적으로 사용되는데 큰 기여를 했나보다. 정확하게는모르겠으나, LoRA, Low Rank Adaptation이 큰 기여를 한 모양이다. 이게 굉장한 기법이라고 글에서는 언급하고 있다. 저수준의 팩토라이제이션, 이거 선형대수학 개념인 것 같다. 이전에 조금 영상을 봐두길 잘했네. 이 놈이 비용을 굉장히 줄이는 역할을 한 모양이다. 아무래도 이것에 대해서는 더 자세히 공부할 필요가 있겠다. 대충은 finetune과 비슷한 맥락인 것 같다.

이후에는 몇가지 시사점들에 대한 이야기가 나온다. 핵심은 LoRA로부터 알아낸 특징들이라는 점인 듯?
데이터의 질이 사이즈보다 중요하다. 이제 오픈소스와 경쟁하는 것은 무의미하다. 

결국 승자는 메타이다.. 메타가 흘려버린 모델 덕에 그들은 현재 공짜 노동력을 얻고 ai 시장을 손에 넣었다. 결론은 구글도, openai도 이제 오픈소스화를 해야한다..!

대충 여기까지가 글의 내용이다.

보니까 이런 방식으로 평가르 진행했다네. 평가자가 gpt-4이다. ㅋㅋ 사람이 이래저래 안 해도 지네끼리 평가하고 발전하는게 가능한 수준까지 올라왔다는 게 느껴진다. 

회고 및 다짐

왜 이제야 그런 생각을 해낸 걸까. 생성형 ai라는 것은 게임에 엄청난 영향을 줄 수 있는 물건인데. 게임의 서사적 요소를 풍부하게 해줄 수 있는 요소가 될 수 있다. 대화에만 사용할 수 있을까? 간단한 행동 양식에도 충분히 적용이 가능할 것 같다. 캐릭터의 이동을 언어로 학습시킨다면 간단한 예시로는 적이 침공했을 때 마을 npc들이 행동을 개발자가 직접 지정하지 않아도 될 수 있다는 것이다. ai의 생성을 핵심적으로만 사용하는 가장 간단한 형태는 아무래도 비주얼 노벨류가 될 것이다. 핵심 사건들을 넣고, 그 외 나머지 대화, 스크립트는 ai에게 맡긴다. 이는 마치 로그라이크 류의 게임에서 활용되는 랜덤 인카운터 형식의 느낌이 날 것이다. 달리 말하면, 그다지 이질적인 요소로 플레이어에게 다가오지 않는다는 것이다. 
agi, 게임을 관리하는 인공지능. 서울2033, 호감도. 퀘스트 부여(플레이어에게 몇 가지 지시를 내리는 형태의 서사를 쓸 수 있도록, 환경 설정도 제공). 로그라이크류

당연히 예감했어야 했다. 내가 할 수 있는 것. 내가 관심 있는 것. 이전에 롤 친구 프로젝트를 생각하면서 간단하게 롤 조언 ai를 생각하고 있었는데, 그보다 더한 것들을 생성 ai가 해낼 수 있다는 것을 새삼 깨달았다. 내가 해보고 싶은 것들이 이리도 많았는데, 여태 놓치고 있었구나.
기사들을 찾아보니 올해에 들어 그런 기사들이 올라오고 있다. 그 이전부터 이미 아이디어가 나와서 개발이 진행되고 있는 것이리라.

가능성은 충만하다. 

혹시 미연시처럼 역할을 부여해서 대화를 하는 것도 가능할까 싶어서 시도해봤는데, 잘 안 된다. 이것은 따로 학습을 해야 하지 않을까 싶네.

그나저나 여름이 정말 오기는 한 것 같다. 밖에 나가보니 비가 온 후의 습한 기운이 내 몸을 감쌌다. 완전히 덥지는 않았지만, 여기에 더위 한 스푼 끼얹으면 그때부터는 내 몸에서 새어나오는 땀을 주체할 수 없는 지경이 올 것이다..😥 내 방에 에어컨이 있다는 것이 새삼 엄청난 행운이라고 느끼고 있다. 여태 집에서 내가 얼마나 고통을 받았던가. 
운동을 하고 나올 때도 습기가 느껴져서 오는 내내 땀이 나지 않을까 걱정해야만 했다. 기껏 씻고 나와서 다시 끈적해지고 싶지는 않다...비온 후 여름의 상쾌한 내음은 좋지만 말이다, 역시 그런 건 가끔으로 충분할 것 같다.