본문 바로가기

부스트캠프 AI Tech/모델 최적화

[00] 피어세션 / 학습 회고 / 수행 과정 / 결과물 중간 정리

21.11.23 16:00 피어 세션 요약

 

Temporal Convolutional Network (TCN)

Transformer 모델이 등장하기 전에는 자연어처리, 시계열 데이터 처리 등에는 RNN의 LSTM/GRU 모델이 압도적으로 많이 사용되었습니다. 그 와중에서 convolution의 locality를 잡는 특성과 dilation을 이용해 re

hongl.tistory.com

 

21.11.25 16:00 피어 세션 요약

  • 회의사항
    • VGG를 활용하여 기준점 달성
    • 순수하게 모델 경량화보다 입력 데이터 처리나 기타 작업에 소요되는 시간이 합산되기 때문에 다른 관점으로 볼 필요가 있을 것 같습니다.
    • MuxNet은 파라미터는 상당히 적지만, 인퍼런스 시간이 큽니다. 일단 돌리고는 있지만 성능이 좋지는 않을것 같습니다.
    • resnet 18도 인퍼런스 시간이 매우 적었기 때문에 실험해볼 가치가 있을듯 합니다.

21.11.26 16:00 피어 세션 요약

  • 회의사항
    • SqueezeNet - 속도는 빠른데 성능이 별로 안 나오는 것 같다.
    • Terminal 창 결과값 txt로 보는 방법
    • optim 할 때 f1 score 뿐만 아니라 time 도 고려해야 한다
    • inferance 할 때 이미지 크기는 시간에 많은 영향은 안주는 것 같다. 미세하게 주는게 큰 차이는 없다.
    • 속도가 잘 나오는 모델 : AlexNet, VGG, SqueezeNet, Resnet(bottle neck 없는)
    • 채널의 깊이를 줄이거나 채널을 바꾸는 시도 필요