논문 읽는법

Introduction :

 

여러분이 이 포스팅을 볼 시점에는 아마도 이 분야의 선구자이신 앤드류응 교수님을 이미 알고 계실 것이며

 

그분이 해주실 ML/DL 커리어에 대한 조언에 관심이 있을 것입니다.

 

강의 영상을 직접 보시면 더 많고 유익한 내용이 있습니다만, 간단히 정리드리기 위해 이 포스팅을 작성했습니다.

 

앤드류응 교수님의 이번 어드바이스에는 크게 두가지가 있습니다.

 

1. 연구 논문 읽는 법 :

 

딥러닝계의 새로운 토픽을 마스터하기 위해 앤드류응 교수님이 사용하시는 효과적인 논문읽기 방법입니다.

 

2. ML/DL 커리어에 대한 조언

 

 

논문읽기 :

 

효과적이고 빠르게 논문을 읽는 방법입니다. 여러분이 ML/DL 시스템이나 프로젝트를 재미로 하든 분야 최고가 되기

 

위해 하든, 딥러닝에 발을 담근 사람으로서 논문(역자 주 : academic literature가 맥락상 논문을 의미하는 것으로 보임)을

 

공부하는 것은 꼭 해야하는 일입니다. 

 

해야할 일은 다음과 같습니다.

 

1. 읽을 논문의 목록을 정리하자 :

 

논문 목록을 작성하세요. 그리고 블로그든 뭐든 어디에 정리해놓으세요.

 

2. 목록의 논문을 가감하자 :

 

기본적으로 여러분은 논문을 병렬적으로 봐야합니다(한번에 한 개 이상의 논문을 봐야함).

 

다시 말하자면 목록의 논문들 중에서 자세히 읽어야 할 것과 아닌 것을 취사선택하세요. 아마도 여러분은 각 논문의

 

10~20% 정도를 읽을 것이고 그 논문들은 여러분이 높은 수준으로 이해할 수 있을 것입니다.

 

그러면 여러분은 자세히 읽을 논문과 치울 논문을 정할 수 있을 겁니다.    

 

이전에 읽어 본 논문의 갯수에 대해 앤드류 응 교수님의 가이드라인은 다음과 같은데요,

 

5~20개 읽어봤다 : ML/DL 시스템을 적용할 지식은 갖추었지만 최신의 기술을 이해하기에는 부족하다.

 

50~100개 읽어봤다 : 해당 분야에 대해 자세히 알고 있다.

 

 

논문 한 개를 어떻게 읽을 것인가?

 

논문읽기를 시작할 때, 처음부터 끝까지 정독하지 마시고, 몇 부분은 생략하고 읽으시되 다시 여러번 읽으세요.

다음 순서를 참고하시면 좋습니다.

 

1. 논문 제목(title)과 초록(abstract), 도표(figures)를 먼저 보세요 :

 

논문의 제목과 초록, 핵심 아키텍쳐 그림설명과 실험연구 부분을 읽고나면

 

논문의 기본적인 컨셉과 아이디어를 알 수 있을 것입니다. 특히나 딥러닝 계열의 논문은 한두 개의 도표로

 

여러개의 논문을 정리하기 때문에 처음부터 끝까지 논문 텍스트를 다 읽어볼 필요는 없습니다.

 

2. 그다음 도입(introduction), 결론(conclusion), 도표(figures)를 읽고 필요없는 부분은 생략하세요 :

 

도입과 결론, 초록에는 저자가 논문 리뷰어들에게 왜 자신의 논문이 게재 승인되어야 하는지 명확히 설명하기 위해

 

신중하게 요약한 내용이 담겨 있습니다. 그리고 관련된 다른 연구에 대한 부분은 가능하면 생략하세요.

 

이 부분은 저자의 연구가 다른 사람들의 연구에 비해 얼마나 느낌있는지를 보여주기 위한 내용이기 때문입니다.

 

그렇기 때문에 해당 논문의 분야에 대해 익숙치 않다면 읽어보는 것이 도움되지만 이해하기 어려울 수도 있습니다. 

 

3. 수식은 과감히 생략!

 

4. 이해가 안되는 부분은 빼고 전체적으로 읽으세요 :

 

위대한 연구는 우리의 지식과 이해의 경계를 넓힌다는 뜻입니다. 

 

그 말인즉슨, 저자는 여러분이 논문을 읽을 때 발견할 쓸모없는 부분이나 이해할 수 없는 부분도 설명합니다.

 

결론적으로 여러분이 논문에서 이해가 안되는 부분(잘 안쓰이는)은 처음에 생략해도 좋다는 뜻입니다.

 

해당 논문을 완전히 마스터할게 아니라면 시간만 더 듭니다.

 

 

 

논문을 읽고나면 다음 질문에 답해보세요.

 

1. 저자가 뭘 해내고 싶어했는가?

 

2. 이 연구의 접근에서 중요한 요소는 무엇인가?

 

3. 당신(논문독자)은 스스로 이 논문을 이용할 수 있는가? 

 

4. 당신이 참고하고 싶은 다른 레퍼런스에는 어떤 것이 있는가?

 

이 질문들에 답할 수 있다면, 여러분은  그 논문을 제대로 이해하고 있다는 뜻입니다.

 

대부분의 논문저자들이 비슷한 포맷을 사용하기 때문에, 여러분이 더 많은 논문을 읽어나갈수록

 

이 태스크는 빨라질 것입니다. 컴퓨터비전 영역에서 자주 사용되는 네트워크 아키텍처 도표 설명처럼 말이죠. 

 

 

Reference:  Densely Connected Convolutional Networks.

논문 하나를 읽는데 얼마나 시간이 걸릴까?

 

사람마다 다르지만 ML/DL의 상대적으로 쉬운 최신 논문 하나를 이해하는데 들어가는 시간은 한 시간 정도입니다.

 

논문을 여러개 보게 되면 어지러워져서 3시간 그 이상이 걸리기도 합니다.

 

논문 보는 곳들 :

 

온라인 상에 논문을 보기 좋은 곳이 많습니다. 어떤 분야의 뉴비인 여러분에게 도움이 될 핵심 논문들을

 

포스팅한 블로그도 있을 것이고요.

 

많은 사람들이 the state-of-art of deep learning을 사용하기도 합니다. 다음을 참고하세요.

 

1. 트위터 :

 

놀랍게도 트위터가 연구자들이 새로운 것을 찾는 중요한 플랫폼이 되고 있습니다.

 

2. ML subreddit https://www.reddit.com/r/MachineLearning

 

3. ML/DL 컨퍼런스 : NIPS/ICML/ICLR 

 

4. 각종 커뮤니티or그룹(우리에겐 텐플코같은 곳이겠죠?)

 

 

 

 

 

1. 논문 리딩습관을 발전시키자 : 한 주에 2개씩 읽는 것으로 시작하자.

 

2. 효율적으로 논문을 읽자 : 읽을 논문 리스트를 만들고, 취사선택을 하자.

 

3. 논문을 읽을 때 : title, abstract, figures, introduction, conclusion을 읽는 것으로 시작하자.

 

 

 

출처 : https://www.youtube.com/watch?v=733m6qBH-jI&ab_channel=StanfordOnline