본문 바로가기

Data&Processing

[talend] 병렬로 적재했을때 속도

talend가 informatica처럼 자체적으로 parallel 읽기가 가능한지는 아직 못찾아서 다른 툴에서 하던데로 where 절에서 구간을 나누어 select한 후 병렬 insert


ㅇtalend에서 동시에 job실행하고자하면 job property/extra 에서 "multi thread execution" check해야함

ㅇjob하나로 insert 시 10000건/sec 정도 나오던 것이

5개로 늘린 후 6000건*5/sec가량 나옴

수치가 선형적으로 늘지는 않지만 늘긴 늘어남

선형적이지 않은 이유는 select 속도한계, insert부하/한계 등이 있을것 같다. 하지만 동시 job실행만으로 속도가 늘어나는건 확인