20230627화-새로운 과제들

 

목차

 

인수기

아침 10시 수업이라는 것이 이렇게나 아침을 여유롭게 만들어줄 줄이야. 앞으로는 그냥 일찌감치 7시에 기상을 하는 게 좋을지도 모르겠다. 아침을 더 여유롭게 가질 수 있도록 하는 게 확실히 하루를 보람차게 보내는 느낌을 준단 말이지. 

일단 결국 중간과 기말은 오프라인으로 하되 그 이외에 대해서는 온라인으로 듣는 것을 허락받을 수 있었다. 그래도 다행인 것이겠지. 출석 시스템을 붕괴시키거나 테두리 바깥에 나가는 것이 아니라 그 안에서 타협점을 찾을 수 있는 거니까. 사실 F만 안 받으면 되니까 사정사정해서 완전히 제끼는 그림을 바랐건만, 그것까지는 불허하셨다. 

오늘 내용은 가우스 소거법과 LU 분해. 이전에 성훈이 형하고 처음에 선형대수학을 공부하려고 했을 때 나는 가우스 소거법을 이해를 하지 못 했었다. 왜 그런 방법으로 나타내려는 것인지, 정확하게 어떤 모양을 갖췄을 때 완성이 되는 것인지 등. 선형대수학은 여태 내게 애매한 영역에 위치해있었는데 비로소 조금씩 지식의 영역으로 들어오고 있는 것 같다. 지금이라도 공부하게 돼서 다행이다.

싸피 준비

싸피 입과 전 준비물.
여기도 젭을 쓰는구나.. 나는 젭이 그다지 사용성이 좋다는 생각이 안 들었는데 네부캠도 쓰고 싸피도 쓰고 하는 것 보면 이걸 대체할 더 좋은 플랫폼이 없는 모양이다. 누나는 게더타운을 쓰던데 그건 별로인 걸까?

하라면 또 해야지 끙..많이 꾸며져 있더라. 아무래도 오늘은 따로 할 일이 있어서 제대로 보지 못했지만, 내일이나 다시 와서 조금 더 면밀하게 탐방을 해보는 게 좋을 것 같다. 아니 근데 기왕 도트일 거면 좀 이쁜 아바타들이랑 자유로운 공간 이동을 구현할 수는 없는 걸까. 젭은 매번 아쉽단 말이지.

간만에 다시 잡는 모델

싸피가 붙었어도 한번 맞춘 약속을 취소할 수는 없다. 싸피에 최선을 다하듯이 미래에셋 페스티벌에도 부족함이 없도록 최선을 다하고 싶다. 하고 있는 스터디를 통해 내가 얻을 것은 끈기와 자신감. 네부캠을 끝낸 이후에도 당장 모델을 만들라고 하면 뭔가 두렵고 어렵게만 느껴졌던 그런 일련의 울렁증이 있었다. 네부캠에서는 나를 가르쳐주기 위해 충분히 노력했지만, 내가 다 흡수하기에는 내가 너무 밑천이 없었던 것이다. 선형대수니, 통계니 미적분이니 이제는 입 아픈 이야기들, 나 못났다는 거 이제 모르는 사람 없을 테니 이 이야기는 그만하련다. 요컨대 나는 다시금 복습을 하면서 완전히 그때 배운 것들을 내 것으로 만들 필요가 있다는 것이고, 그러한 면에서 준희와의 스터디는 내게 도움이 된다. 정확하게는 내가 몸소 나설 때 내게 도움이 된다 .

그래서 지금 하고 있는 게 무엇인가? 모델을 혼자 만들어서 옵티마이저들을 바꿔가면서 돌리기. 데이터를 코랩으로 돌리니 각각을 비교하기가 쉽지 않았다. 아무래도 메모리가 부족한 느낌이었는데, 그래서 그냥 데이터를 덜 쓰는 쪽으로 코드를 짰다. 당연히 데이터셋을 건드리는 게 맞지만, 귀찮아서(..) 배치를 중간에 잘라먹었다. 

오랜만에 모델을 돌리니 좋은 점은, 모델을 돌리는 동안 일기를 쓸 수 있다는 것..! 분명 이전과 하는 것은 똑같은데 일을 두 배로 하는 기분.

sgd는 잘 아는 확률적 경사하강법.
모멘텀은 여기에 관성 효과를 더 주는 것을 말한다. v라는 가속도를 넣는 파라미터를 추가한다. 여기에 조금의 조작이 더 들어가는데, 이것은 기본적으로 오차를 줄일 수 있도록, 중력 효과를 주듯이 1보다 작은 값을 곱하는 것이다.
adagrad는 많이 학습한 요소를 상대적으로 적게 학습하도록 제동을 거는 방법을 취한다. 많이 학습했으면 그만큼 최적값에 가까워졌을 것이라고 가정하는 것이다. 오차를 내적하고 이를 분모로 활용해서 적정하게 각 데이터 별로 업데이트되는 정도가 다르게 한다. 다만 분모는 너무 커지면 값 자체가 0에 가까워져 업데이트가 거의 되지 않는 상황이 나오기도 하는데 이를 조정하는 게 rmsprop이라고 한다. 이것은 식은 보지 못했다.
마지막으로 adam. 이거 다 합친 거다. 어떻게 합쳤다는 것인지 책에 나와있지 않아서 직접 찾아보니

이렇다고 합니다. 이것만 봐서는 이해가 쉽지 않고 다른 도움을 좀 받았으면 하는데, 일단 다음 기회를 노려보자.

시작 지점이 다들 너무 달라서 큰 의미가 있을까? 기울기 정도만 참고할 수 있을 것 같다. 랜덤값을 고정을 시켜야했는데, 실수. 아니면 무엇으로 최적화할지에 따라 초기 로스가 이렇게 변화할 수 있단 말인가?

회고 및 다짐

오랜만에 혼술 한잔. 곧 집을 비워야 하니 비울 수 있는 것을 비우는 게 좋겠다 싶어서 마시는 거다, 절대 마려워서 마시는 것이다. 근데 해야 할 일이 있다보니 많이 마시진 않을 생각이다. 준희와의 약속은 목요일로 밀리기는 했으나, 그렇다고 내가 할 일이 줄어드는 것은 절대 아니다. 

또 오랜만에 점심에 장을 봤다. 진구 형이 온 이래로 장을 잘 보지 않았다. 일단 형이 있다보니 집안일에 시간을 쏟기가 좀 그래서 그런 것도 있고, 어차피 곧 떠날텐데 그냥 집에 있는 거나 비우는 게 낫지 않을까 싶었다(이건 장 보고 생각들었다. 차라리 라면을 좀 비워둘걸). 아무튼 평소 웰빙으로 먹었으니 그대로 먹기는 해야겠다는 생각에 장을 봐가지고 왔다. 아마도 이곳에서의 마지막 장보기. 마지막 두부와 마지막 양상추, 마지막 파프리카를 샀다. 

해야 할 것이 많은 것이 없는 것보다는 차라리 낫다. 힘들어도 후회가 없거든. 내가 지난 1년간 한량이 된 상태로 처절하게 배운 삶의 교훈이다. 이제는 2년전인가, 얼마 전에 누나가 미니건이 몇 년만 늦게 태어났어도 유튜브 스타가 됐을 것이라 말했다. 그랬다면, 그리고 미니건의 삶의 길이가 똑같을 것이라면 어쩌면 나는 몇 년 더 늦게 발을 디딜 준비를 하지 않았을까. 누군가의 작별로 누군가의 소중함을 깨닫는 나는 어떻게 상황을 다시 반복해도 같은 결과를 맞이할 지도 모른다. 영원회귀. 사실, 돌아보는 게 덧없는 것이다. 
마지막 계절학기, 싸피에 들어가기 일보 직전의 지금 새로 해야 할 것들이 많이 늘었다. 내가 할 수 있는 선에서 나를 조금씩 변화시킨다. 더 큰 변화가 닥치지 않도록, 그런 위험이 와도 맞닥뜨릴 수 있도록.