항상 감사하며 마633

실험 데이터 개수 : 약 160만개 단일값 검색 성능 비교 단순히 pd.series 를 사용한 indexing 의 처리 시간보다, numpy 문법을 사용했을 때 시간이 단축되었고, groupby 를 통해 key-value를 사용한 방법에서는 더 큰 시간 단축을 경험했다 기존 코드 : 2.6초 소요 for code in item_codes: ... item_info = train_data[train_data['item_code'] == code] # 2.6 초 ... 대안 1: numpy 배열 사용 ( 2.4초 소요, 0.2초 감소, 7.7% 향상) for code in item_codes: ... item_info = train_data[train_data['item_code'].values == cod..

개발/python-속도향상(optimization) 2022. 5. 17. 23:32

일반적으로, pandas 에서 apply() 를 활용했을 때 데이터의 행들을 순회하며, 전처리 적용이 빠르게 가능하고, 나도 apply() 를 매우 자주 사용하는 편이다 그런데 종종 해당 row들을 순회하며, 데이터를 처리하여 열을 만드는 것이 아닌, 다른 목적으로 특정 데이터들을 뽑아내서 따로 저장해야할 때가 있다. 혹은 apply() 사용 시 debugging 용도로 반복문을 통한 DataFrame 순회가 필요할 때가 있다. 이 때 일반적으로 iterrows() 를 사용한다 # iterrows() 사용 temp=[] for i,row in df.iterrows(): name_new = row['name'] temp.append(name_new) 그런데 이 방법은 단순하나, 속도가 아쉬운 특징이 있다...

개발/python-속도향상(optimization) 2022. 5. 12. 19:09