항상 감사하며 마633

앞서 병렬처리 부분에서 클로저의 개념을 다루기 전에 변수 범위를 간단하게 다루었는데, 이번에 본격적으로 개념을 정리하고자 한다 전역변수 전역변수는 주로 변하지 않는 상수값 또는 고정값을 가진 변수로 사용하는 것이 일반적이다 a = 10 # Global variable def foo(): # Read global variable print(a) foo() # 10 print(a) # 10 지역변수 지역변수는 함수 내에 로직 해결에 국한되고, 함수 실행 해제 시 소멸되는 특징을 가진다 따라서, 용도와 다르게 global keyword 를 활용하여 전역변수를 지역내에서 수정하는 것은 권장되지 않고 있다 (아래에서 global keyword 에 대해 정리하였다) b = 20 def bar(): b = 30 # ..

개발/python-심화(Advanced) 2022. 5. 17. 23:32

실험 데이터 개수 : 약 160만개 단일값 검색 성능 비교 단순히 pd.series 를 사용한 indexing 의 처리 시간보다, numpy 문법을 사용했을 때 시간이 단축되었고, groupby 를 통해 key-value를 사용한 방법에서는 더 큰 시간 단축을 경험했다 기존 코드 : 2.6초 소요 for code in item_codes: ... item_info = train_data[train_data['item_code'] == code] # 2.6 초 ... 대안 1: numpy 배열 사용 ( 2.4초 소요, 0.2초 감소, 7.7% 향상) for code in item_codes: ... item_info = train_data[train_data['item_code'].values == cod..

개발/python-속도향상(optimization) 2022. 5. 17. 23:32

일반적으로, pandas 에서 apply() 를 활용했을 때 데이터의 행들을 순회하며, 전처리 적용이 빠르게 가능하고, 나도 apply() 를 매우 자주 사용하는 편이다 그런데 종종 해당 row들을 순회하며, 데이터를 처리하여 열을 만드는 것이 아닌, 다른 목적으로 특정 데이터들을 뽑아내서 따로 저장해야할 때가 있다. 혹은 apply() 사용 시 debugging 용도로 반복문을 통한 DataFrame 순회가 필요할 때가 있다. 이 때 일반적으로 iterrows() 를 사용한다 # iterrows() 사용 temp=[] for i,row in df.iterrows(): name_new = row['name'] temp.append(name_new) 그런데 이 방법은 단순하나, 속도가 아쉬운 특징이 있다...

개발/python-속도향상(optimization) 2022. 5. 12. 19:09

asyncio 라이브러리 ( 공식문서 : https://docs.python.org/3.7/library/asyncio.html ) Queue 기반으로 동작하는 병렬처리를 위한 라이브러리이다 비동기 i/o 코루틴을 통한 동시 작업을 지원한다 async, await 의 keyword 를 사용할 수 있다 pip, conda를 통한 설치 필요 Blocking I/O: 호출된 함수가 자신의 작업이 완료될 때까지 제어권을 가진다. 타 함수는 대기 Non-Blocking I/O : 호출된 함수(서브루틴)이 return 후 (코루틴의 yield) 호출한 함수 (메인루틴) 에 제어권 전달, 또 다른 함수 작업 (서브루틴) 을 진행할 수 있다 asyncio 를 효과적으로 쓰려면? 내가 쓰려는 함수가 Blocking 으로..

개발/python-병렬처리 2022. 5. 12. 19:09

비동기 방식 (asynchrony) Asynchrony, in computer programming, refers to the occurrence of events independent of the main program flow and ways to deal with such events. These may be "outside" events such as the arrival of signals, or actions instigated by a program that take place concurrently with program execution, without the program blocking to wait for results.[1] Asynchronous input/output is an..

개발/python-병렬처리 2022. 5. 12. 19:08

코루틴이란? 스레드는 OS에서 관리하는 프로세스 내 작업 단위이다. 일반적으로 멀티스레드를 사용하여, CPU 코어에서 실시간, 시분할 비동기 작업을 수행하며 작업의 효율성을 높인다 그런데 단일(싱글)스레드 환경에서도 비동기 작업을 가능하게 하는 설계패턴이 코루틴이다. 단일 작업 (work1, work2, ...) 수행이 정의된 여러 개의 코루틴 함수를 설계하고 이들을 각각 서브루틴으로서 제어하면서 동시에 싱글스레드가 각 서브루틴을 오가며, 동시 작업이 가능한 형태이다. 코루틴을 제어할 때 서브루틴에서는 yield 키워드를, 메인루틴에서는 send 메소드를 사용한다. yield 키워드는 실행지점의 상태를 저장하기 때문에, 메인루틴과 서브루틴 간 양방향 전송이 가능하게 한다 코루틴을 통한 동시 작업 과정 메..

개발/python-병렬처리 2022. 5. 11. 15:56

병행성과 병렬성 병행성(Concurrency) : 한 컴퓨터가 여러 일을 동시에 수행 → 단일 프로그램안에서 여러일을 쉽게 해결 (멀티태스킹) 병렬성(Parallelism) : 여러 컴퓨터가 여러 작업을 동시에 수행 Generator란 Generator 는 yield를 통해 메인루틴에 값을 반환하는 것으로 사용될 수 있기 때문에 병행성을 구현할 때 활용이 될 수 있다. Generator 를 정의할 수 있는 방법은 두가지 방식이 있는데, 하나는 함수와 yield를 사용하는 방법이고, 하나는 소괄호 내에 Comprehension 으로 정의하는 방식이다 (Generator Expression 이라고 불리며, Tuple 타입과는 아무 연관성이 없다) # Generator 정의 방법 1 def generator_..

개발/python-병렬처리 2022. 5. 11. 15:56

Iterable 객체와 Iterator 객체 Iterator를 사용하는 이유는 이전 글에서 언급한적이 있는데, next 메소드 실행 시부터 원소를 하나씩 반환하므로, 미리 모든 원소를 메모리에 올려놓지 않아, 메모리 효율적인 특징이 있기 때문이다. Generator는 이렇게 유용한 Iterator를 생성할 수 있는 함수이다. Iterator 객체는 Iter 함수를 통해 생성될수도 있다는 점에서 Iterable 하기 때문에 (그러나 역은 성립하지 않는 것에 주의한다!) 우리는 for문에서 반복을 통해 Iterator를 사용할 수 있다 그렇다면 for문은 어떻게 동작할까. Iterator와 while 문을 활용하면 간단히 for문의 메커니즘을 구현해볼 수 있다. Iterable한 객체로 Iterator 객체..

개발/python-병렬처리 2022. 5. 11. 15:56