기존 sequence 모델(RNN) 기존 sequence transduction model들은 인코더와 디코더를 포함한 복잡한 recurrent, cnn에 기반합니다. RNN은 순환구조를 이루는 인공신경망의 한 종류입니다. 음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델입니다. 시간이 흐르는 기준으로 펼쳐놓고 봐야 하기 때문에 순차적인 연산이 필요합니다.(인코더,디코더당 각 하나의RNN) Transformer 최근 1~2년 사이에 많은 모델들이 CNN기반->Transformer기반 모델입니다. Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있습니다. ViT : An Image Worth 16 x 16 Words - Image Classification의..

논문 https://www.mdpi.com/2220-9964/8/12/549 WeatherNet: Recognising Weather and Visual Conditions from Street-Level Images Using Deep Residual Learning Extracting information related to weather and visual conditions at a given time and space is indispensable for scene awareness, which strongly impacts our behaviours, from simply walking in a city to riding a bike, driving a car, or autonomous dri..

https://arxiv.org/pdf/1512.03385.pdf 초록 딥러닝에서 neural networks가 깊어질수록 성능은 더 좋지만 train이 어렵습니다. 그래서 이 논문에서는 잔차를 이용한 잔차학습 (residual learning framework)를 이용해서 깊은 신경망에서도 training이 쉽게 이뤄질 수 있다는 것을 보이고 방법론을 제시했습니다. 함수를 새로 만드는 방법 대신에 residual function, 잔차 함수를 learing에 사용하는 것으로 layer를 재구성합니다. 결과적으로 152개의 layer를 쌓아서 기존의 VGG net보다 좋은 성능을 내면서 복잡성은 줄였습니다. 소개 딥러닝에서 layer가 더 깊어지면 깊어질수록 모델의 accuracy가 saturating되..

https://arxiv.org/pdf/2208.12242v1.pdf 초록 몇개의 이미지로 주요 시각적 특징을 유지하면서 환경과 자연스러운 무수히 많은 이미지를 합성할 수 있다. 방법 특정 개와 해당 클래스 이름의 이미지 3~5개가 입력이 되면 고유 식별자를 인코딩하는 개인화된 텍스트-이미지 모델을 생성한다. 그리고 추론시 고유 식별자를 다른문장에 삽입하여 다른 맥락에서 주제를 합성할 수 있다. 두 단계로 텍스트-이미지 확산을 미세조정 한다. 식별자와 주제가 속한 클래스의 이름과 병행하여 클래스별 사전 보존 손실(Prior Preservation Loss)을 적용한다. 텍스트 프롬프트에 클래스 이름을 삽입하여 대상 클래스에 속하는 다양한 인스턴스를 생성하도록 한다. 입력 이미지 세트에서 가져온 저해상도 ..

Introduction : 여러분이 이 포스팅을 볼 시점에는 아마도 이 분야의 선구자이신 앤드류응 교수님을 이미 알고 계실 것이며 그분이 해주실 ML/DL 커리어에 대한 조언에 관심이 있을 것입니다. 강의 영상을 직접 보시면 더 많고 유익한 내용이 있습니다만, 간단히 정리드리기 위해 이 포스팅을 작성했습니다. 앤드류응 교수님의 이번 어드바이스에는 크게 두가지가 있습니다. 1. 연구 논문 읽는 법 : 딥러닝계의 새로운 토픽을 마스터하기 위해 앤드류응 교수님이 사용하시는 효과적인 논문읽기 방법입니다. 2. ML/DL 커리어에 대한 조언 논문읽기 : 효과적이고 빠르게 논문을 읽는 방법입니다. 여러분이 ML/DL 시스템이나 프로젝트를 재미로 하든 분야 최고가 되기 위해 하든, 딥러닝에 발을 담근 사람으로서 논문..

전자공학회논문지 - CI Computer and Information 2011, vol.48, no.1, pp. 44-50 발행기관 : 대한전자공학회 연구분야 : 공학 저자 :김태현 /Tae-Hyun Kim , 박동철 /PARK, DONG CHUL 명지대학교 출처 : https://scienceon.kisti.re.kr/commons/util/originalView.do?cn=JAKO201115537947331&dbt=JAKO&koi=KISTI1.1003%2FJNL.JAKO201115537947331 초록 본 논문은 다중 클래스 데이터의 효율적 분류를 위한 새로운 아다부스트 알고리즘을 제안한다. 기존의 아다부스트 알고리즘은 기본적으로 이진 분류기이므로 다중 클래스 데이터 분류의 적용에는 매우 제한적이었다..