본문 바로가기

Data&Processing

[talend] 시작. 간단한 테이블 적재 만들어보기

모든 ETL Tool이 그렇듯이 talend도 Source, Target을 지정하는 것 부터 시작하겠습니다.


talend에서는 source를 input, target을 output으로 명명하고 있구요.


input이 되는 Source로는 오른쪽 Palette에서 Databases, Business, Cloud, File, BigData가 있습니다.


대부분은 Databases에서 활용가능하고 회사 ERP 데이터 등을 가져오고자 할때는 Business에서 해당 제품군을 선택하시면 됩니다. File 같은경우는 weblog나 계정정보파일등을 읽을 때 사용할 수 있을것 같습니다.





1) Databases 폴더>자신이 사용할 DB>Input Component 선택

2) Databases 폴더>자신이 사용할 DB>Target Component 선택


위의 설명의 경우에는 DB는 MySQL을 선택해서 tMysqlInput, tMysqlOutput 을 선택했습니다.


Input 에 설정은 Input Component을 누르고 아래 Tab에서 확인할 수 있습니다.

1) DB Connection

2) Query

3) Schema 

입니다.


1) DB Connection 의 경우

Host : IP주소, Port, DataBase : 접속시 사용되는 DB명, Username : ID, Password 를 입력합니다.


2) DB에서 Select할 쿼리는 "" 안에 집어 넣습니다. String형태로 만들면 되기 때문에 외부 변수를 사용해서 "String1" + 변수 + "String2" 와 같은식으로 입력해서 동적 변수 입력도 가능합니다.


3) Schema는 Query에 맞는 schema를 "Edit schema"를 눌러 입력합니다. 쿼리에서 return되는 결과랑 다르면 Error가 납니다.


Output 설정의 경우도 마찬가지로 Output component를 누루고 





OutPut에서는 DB정보입력은 Input과 같구요.

Insert될 테이블을 위에 안경표시같은 버튼을 눌러서 선택을 한 후에

input과 output DB에 schema가 같다면 Sync Columns를 누르게 되면 input과 동일한 schema가 만들어지게 되고

column명 등이 다르게 되면 schema를 작성해야합니다.