20221216금-movie5, 베이스라인, 오랜만에 회고

데일리 스크럼

노션 정리!

베이스라니..

모델에서 finetune을 하는 부분. 시계열을 고려하여 매 배치 속 행마다 이런 식으로 작동하는 듯하다.

행렬에서 이뤄지는 연산은 항상 어렵다.. 단순히 곱하기를 하는데 아무래도 브로드캐스팅이 일어난 것으로 보인다. 결과적으로 배치 사이즈에 맞게, 각 행에 대한 2차원 행렬 마스크를 씌울 수 있는 변수가 되었다!

아이템 인코더를 거치면 형태가 이렇게 바뀐다.

finetune을 지나서 로스를 계산하는 부분! 크로스엔트로피라 쓰여있다. 보니까 드롭아웃을 제외해서는 거의 모든 함수들이 새로 만들어져 있는 듯하다. 아무튼 이것으로 정답, 오답 임베딩을 거친다.

로스 부분. 크로스 엔트로피에서 어차피 이진이기에 앞 식만 남게 된다. 이때 정답과 오답을 함께 학습하는 모습을 보여준다. 이것을 어떻게 bpr로 적용시켜볼 껀덕지는 없는 것일까? 그렇게 할 때의 기대효과는 무엇일까? bpr은 논문을 통해 missing value와 true negative를 신경 쓸 수 있도록, 확률값으로 계산할 수 있도록 만들어진 것이 밝혀졌다. 뭐.. 말은 그런데 실제로 그런진 잘 모르겠다. 아무튼, 그래서 암묵적 피드백에 대해 좋은 성능을 발휘한다니까 한번 적용은 해보고 싶은데, 그러려면 각 유저당 아이템-아이템 관계를 표현할 수 있어야할 것으로 생각된다. 이걸 그렇게 바꾸기는 힘들 것 같은데..

피어세션

노션정리! 서기를 맡게 되니까 편리한 노션을 활용할 수 있다는 게 정말 큰 장점인 것 같다.

회고 및 다짐

근래에 회고를 못 써서 글이 완성되지 않았다는 생각이 드니까 섣불리 글을 공개로 돌리지 않았는데, 내가 너무 형식에 얽매여 있지 않나하는 생각도 문득 들었다. 정리를 하는 것은 좋지만, 어디까지나 여기에 적는 정리는 내 공부를 위한 정리다. 요컨대 내가 정리를 하는 게 내게 도움돼서 하는 정리라는 것이다. 모든 게 일목요연하지 않아도 좋다. 그저 내가 이해할 수 있는 방향의 정리라면 충분하다. 저번 대회에서부터 조금씩 들었던 생각이기도 하다.
저번 대회 때문에 또 하는 이야기인데, 내가 하는 정리가 나를 위한 정리라 사실 타인에게 도움이 되고 있지 않다는 생각이 계속 들었다. 방금 위에서 한 말과는 또 어느 정도 대비되는 말인데, 사실 나를 위한 정리를 하는 것치고 지나치게 형식에 얽매여 내게 잘  남는 정리를 하고 있는가 싶은데, 막상 보면 그것이 다른 사람들한테 잘 전달되지 않을 정리를 하고 있더라는 것이다. 그럼 대체 정리를 왜 하는거냐?!

지금은 어느 정도 갈피를 잡은 것 같기는 하다. 내가 필요한 것만 확실하게 정리를 남기고, 그렇지 않은 것까지 시시콜콜하게 적을 필요는 없다. 어차피 내가 글을 쓰는 방향은 실상 남들에게 큰 도움이 되지 않는다. 내용이 알차냐의 문제를 떠나서 지나치게 줄글 형식이라 빠르게 캐치를 하고자 하는 사람들에게 효과적이지 않은 것이다. 내가 철학과에 머물러서 살던 시절이면 모르겠는데, 지금은 효과적인 전달이 또 필요한 곳에서 살고 있다. 정확한 요점 정리와 포인트 캐치는 장차 내가 이력서를 작성하거나 할 때 큰 도움을 줄 것이다. 그래서 그런 정리를 조금 하려고 한다. 협업에 도움이 되는, 업무적 정리. 나는 대충 이렇게 이름 붙이고 있는데, 어느 정도 아이디어를 이해하기 쉽게 적어두는 것이다. 

저번 대회에서 느꼈던 막연함, 막막함. 나는 더 잘할 수 있다. 더 나아갈 수 있다. 더더 밀어붙이고 싶다. 내가 하려는 것이 무엇이든 진심을 다해 해보고 싶다. 고칠 부분을 고치고 나아가보자. 저번에 어렵다고 넘어간 베이스라인, 이제는 피하지 말자. 전달을 위한 정리를 해보자(회고 쓰는데 그것까지 그렇게 정리할 필요는.. 없겠지..? 나는 그래도 줄글을 더 좋아하는 편인데). 강의와 미션을 더 진심을 담아 차분하게 밟아보자.

사실 공개로 돌리지 않은 시점들 다 더해 하고 싶었던 말들이다. 저번 주 금요일에도 쓰고 싶었던 말들. 저번  주말은 랩업리포트에, 기업 연계 리포트에, 약속에 이러니 저러니 해서 너무 바쁘기도 했는데, 그 이상으로 자존감이 떨어져있는 구석이 있어서 글 쓰기조차 잠시 내려놓았었다.
내가 너무도 못난 인간이라는 건 항상 인정하는 바이지만, 그럼에도 내가 이루려했던 것조차 이루지 못하는 것은 용납할 수가 없다. 그 마음이 나를 더 옥죄고 있었다. 실망을 하는데 그 대상이 나일 때, 그럴 때는 진짜 참담하거든. 그렇다고 물러설 수는 없다. 물러서지도 않았다. 이전에 당한 게 있으니 어떻게 헤쳐나가야 할 지는, 대충 아는 것이다. 그래도 조금의 시간은 필요했다. 힘들면 힘들다고 인정하고 자그마한 안식을 얻는 과정도 필요한 법이다. 
언제까지 그러고 있을 거냐. 다시 돌아가야지. 또 새로운 방법들을 시도하면서, 더 좋은 방향으로 나아가야 한다. 
그래서 오늘은 쉬려고 한다.

글이 길어졌네. 저번 주부터 해야했던 회고는 어느 정도 마친 셈이다.
사실 이 말 하려고 어그로 끌었다. 우리팀이 기업연계 프로젝트에 선발됐다! 우리 팀 정말 대단하다!
걱정도 많고, 기대도 많은 프로젝트이다. 들어간 이상, 한번 또 빡세게 해보자고