YOLOv8모델을 학습시키기 위해 다양한 데이터셋을 찾았으나 형식이 전부 달라 사용할 수 없거나 강제로 변환을 했었습니다. 폴더 구조를 변경하고, Json을 txt파일 형식으로 강제로 변경합니다 Json형식의 파일 구조는 아래와 같습니다. `── data │── crowdpose │-- annotations │ │-- mmpose_crowdpose_train.json │ │-- mmpose_crowdpose_val.json │ │-- mmpose_crowdpose_trainval.json │ │-- mmpose_crowdpose_test.json │ │-- det_for_crowd_test_0.1_0.5.json │-- images │-- 100000.jpg │-- 100001.jpg │-- 100002..

BoT-SORT(Bag of tricks for SORT) SORT 시스템의 한계 ・칼만 필터 상태 벡터 SORT계에서는, 등속을 가정한 칼만 필터를 이용하고 있습니다. 칼만 필터의 사용은 가로폭(width)에서 부정확한 일이 있기 때문에 박스 비율을 이용하여 대응해 왔습니다. 그로인해 경계 박스 예측이 정확하지 않습니다. · 카메라 편차 통상 SORT계에서는, IoU 베이스의 매칭 혹은 코사인 유사도를 이용한 매칭이 행해집니다. IoU 기반 매칭은 예측 상자의 정확성에 크게 의존합니다. 그 때문에, 검출 정밀도가 내려가면, 당연히 매칭도 실패하기 쉬워져, 특히 카메라의 움직임에 의해 정밀도가 떨어진다고 할 수 있습니다. ・매칭 기법 SORT계 알고리즘에 있어서, 포인트 정보를 이용하는 IoU 기반의 매..

MOT (Multiple Object Tracking) 다중 객체 추적(MOT)의 목표는 비디오에서 객체를 감지하고 식별한 다음 높은 정확도로 궤적을 유지하여 객체 주위에 경계 상자를 그리는 것입니다. SORT(Simple Online and Realtime Tracking) 칼만필터로 예측값과 실제 IoU(intersection over union 교집합)의 결과를 비교해서 특정 임계값 이상을 같은ID라고 판단, IoU가 낮은 ID는 제거 합니다. score가 클수록 더 사각형이 일치합니다. 이 점수들을 IoUMatrix에 모아 둡니다. (a)는 이전 Kalman filter에서 나온 결과이고 (b)의 초록색은 현재 Detector에서 나온 박스 입니다. 이 둘을 IoU시킨 후 Hungarian에서 짝..

기존 sequence 모델(RNN) 기존 sequence transduction model들은 인코더와 디코더를 포함한 복잡한 recurrent, cnn에 기반합니다. RNN은 순환구조를 이루는 인공신경망의 한 종류입니다. 음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델입니다. 시간이 흐르는 기준으로 펼쳐놓고 봐야 하기 때문에 순차적인 연산이 필요합니다.(인코더,디코더당 각 하나의RNN) Transformer 최근 1~2년 사이에 많은 모델들이 CNN기반->Transformer기반 모델입니다. Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있습니다. ViT : An Image Worth 16 x 16 Words - Image Classification의..

2019년 CVPR(Computer Vision Pattern Recognition, IEEE주최)컨퍼런스 Action Recognition 분야 1등모델입니다. 기존 Two Stream Network 모델처럼 Optical Flow정보를 사용하지 않는 점이 특징입니다. biological 연구에서 영감을 받았다고 합니다. 영장류의 시각 시스템을 연구했더니 망막 신경세포가 두 종류가 있는데 세포가 시그널을 전파하는 path도 두가지가 있다고 합니다.(2종류 cells, paths) 아래쪽에 있는 패스가 대부분의 정보를 처리하는 부분인데 컬러 및 공간 디테일 정보(what) (slow) (P-cells), 윗부분 초록색부분은 흔히 운동선수들이 가지고있는 동체시력, 즉 움직임과 위치에 대한 정보를 주로 얻게..

NN(neural network) 신경망 위 그림은 신경망 기본모델 입니다.w는 가중치, b는 편향입니다. 입력(feature)과 출력은 데이터셋으로 알고있는 상황입니다. 뉴런에서 함수를 더하기로 정의합니다.그러면 출력은 y= xw+1 b가 될것입니다. 이 모델의 목표는 알고있는 y,x에 무작위 w값을 넣어보고 y값과 실제값을 비교한뒤 오차만큼 다시 w를 수정해서 y를 다시 출력해보고 최종적으로 제일 잘 맞는 w,b의 값을 찾는것 입니다. 그래서 모든 y,x에 맞는 식을 세우는것, 즉, 일반화 한다 생각하시면 될 것 같습니다. 하지만 모든 데이터들은 위와 같이 단순하게 일차원적이지 않습니다. 일상생활의 데이터들은 특징끼리 서로 연관되어있기도하고 여러가지 복합적입니다 마치 아주 복잡한 n차 다항식과 같습니..

a,b 두개의 벡터가 있습니다.두 함수를 연산하여 새로운 함수를 얻는 가장 간단한 방법 중 하나는 단순히 더하는 방법이 있습니다. f(x),g(x)를 이미지라 생각하고 a,b를 각각 픽셀값이라 생각하면 1234,5678을 더하면 새로운 이미지 6,8,10,12가 나옵니다. 이번에는 합성곱인데요. 라플라스 변환에 나오는 그 합성곱입니다. 앞선 두 연산과 달리 단순히 숫자 연산만 하는것이 아니고 새로운 함수를 만들어냅니다. 이미지 처리에서 기본이 되는 연산입니다. 미분방정식을 푸는데 많이 사용되고 다항식을 서로 곱하는 것과 같은 맥락입니다. 1,2,3과 4,5,6 합성곱하는 방법은 다항식을 푼다고 생각하시면 쉽습니다. 다항식으로 만들고 분배법칙으로 푼다음 계수만 갖고오면 합성곱 결과가 나타납니다. 필터(커널..