부스트캠프 AI Tech/모델 최적화 (4) 썸네일형 리스트형 [03] 좋은 모델과 파라미터 찾기 : AutoML 이론 모델 구조, 하이퍼 파라미터 train & eval 과정 -> End-to-end AutoML 일반적인 AutoML pipeline Bayesian Optimization Hyperparameter Optimization manual search 직관에 의해서 hyperparameter를 바꿔가며 대입하는 방식이다. grid search 가능한 hyperparameter 경우의 수를 일정구간으로 나눠서 구간별로 균일하게 대입해보는 방식이다. random search 가능한 hyperparameter 조합을 random하게 선택해서 대입해보는 방식이다. 더보기 보통 grid search나 random search가 주로 쓰이는데, 이 둘의 문제는 다음 hyperparameter 후보를 찾는 과정에서 이제까.. [02] 대회 및 데이터셋 소개 경량화의 다양한 관점 : 포커스를 어디에 둘까 ? 모델크기(=파라미터 수) 속도 연산횟수 (FLOPs) MACs (Multiply-accumulate operations) 합, 곱 연산의 횟수 MACs ~= 0.5 FLOPs 속도를 측정하기 어려운 상황에서의 대한 속도에 영향을 주는 요소에 대한 insight ( ShuffleNetv2 논문 ) FLOPs 이외의 Memory Access Cost 관점에서 속도에 영향을 주는 요소를 고려 입 출력의 채널 크기가 동일 o 큰 Group convolution x 여러 분기의 path가 나오는 구조는 병렬화에 악영향 Element-wise operation은 무시하지 못할 비중을 가짐 https://arxiv.org/abs/1807.11164v1 ShuffleN.. [01] 모델 경량화 개요 경량화의 목적 On device AI Power usage RAM Memory usage Storage Computing power AI on cloud Latency ( 요청 처리 시간) Throughput ( 단위 시간 당 처리 가능 요청 수 ) 경량화, 최적화 종류 네트워크 구조 관점 Efficient Architecture Design(+AutoML; Nerual Architecture Search(NAS)) Network Pruning : 찾은 모델 줄이기 ( 일반화하여 적용하기 아직 까진 어렵다 ) 중요도가 낮은 파라미터를 제거하는 것 좋은 중요도 ? -> loss gradient크면 등등 Structured Pruning : 파라미터를 그룹 단위 ( channel / filter, layer.. [00] 피어세션 / 학습 회고 / 수행 과정 / 결과물 중간 정리 21.11.23 16:00 피어 세션 요약 회의사항 경량화 대회 관련 토의 model: squeezenet, mobilenet, mux net ( https://github.com/human-analysis/MUXConv ) 등 baseline model train 걸리는 시간: 약 2시간 100 epoch 관련 자료1: https://paperswithcode.com/sota/image-classification-on-imagenet 관련 자료2: https://hongl.tistory.com/253 Temporal Convolutional Network (TCN) Transformer 모델이 등장하기 전에는 자연어처리, 시계열 데이터 처리 등에는 RNN의 LSTM/GRU 모델이 압도적으로 많이 사용되.. 이전 1 다음
