본문 바로가기

전체 글

(55)
[talend] character 컬럼 적재시 row단위 오류(euckr -> utf8) talend를 이용 데이터 적재시 다음과 같은 에러발생하였음환경 : mysql 5.5 Starting job traffic_migration at 10:00 13/09/2012. [statistics] connecting to socket on port 3975[statistics] connectedIncorrect string value: '\xEF\xBF\xBD\xEB\x9D\xBC...' for column 'url' at row 344Incorrect string value: '\xEF\xBF\xBD\xE5\xA4\xB7...' for column 'url' at row 796Incorrect string value: '\xEF\xBF\xBD\xE5\xA4\xB7...' for column 'ur..
마일리지 혹은 쿠폰 할인액은 부가가치세 신고시에 차감되는 것일까 마일리지 혹은 쿠폰 할인액은 부가가치세 신고시에 차감되는 것일까? 부가가치세2012/07/13 20:46http://blog.naver.com/taxwiz/30142377518A업체는 홈쇼핑을 통하여 상품을 위탁판매하고 있으며 거래내역은 아래와 같음 당초판매가격 : 1,790,000원(1) 홍쇼핑쿠폰가격(11%): 196,000원(2) 홈쇼핑수수료(1.05%) : 18,795원(3) 소비자결제액 : 1,593.100원(1 - 2) A업체는 소비자결재금액으로 부가세을 신고하고 있는데 세무서에서 홈쇼핑쿠폰금액포함하여 부가세 수정신고 하라고 하는데 제 생각은 쿠폰금액이 매출에누리 성격과 같은것 같은데 쿠폰금액이 부가가치세 과세표준에 포함되는지요 답변자 전영석(hometax) 답변일 2012-07-13 불특정 ..
talend 사용 회사를 옮겼는데 현재 ETL을 사용하고 있는게 없고 구매계획도 없는데,ETL은 필요하니 OpenSource를 찾아다니며, 이것저것을 비교해보았는데 그중 Talend라고 있어 가장 나아보여 선택하기로 한다. 다른툴과의 비교등은 다른분이 올려 놓으셨으니 그걸 참조하면 되겠고, 난 당장급하니 사용법 익히고 많이 사용하는 case별로 사용법을 만들고저 한다. Talend파악 Task는 다음과 같고 옆에 (ㅇ) 붙은건 가능한 방법을 찾은 task이다 parameter 사용하는 query 의 사용일반query사용(ㅇ)일반query에 parameter 추가(ㅇ)sp실행한 결과 적제(ㅇ)sp에 parameter 추가(ㅇ)job에서 다른 job을 호출하고 거기에 parameter전달job을 어떤방식을 만들지 아직결정은 ..
데이터가 default에 있을때 partition추가 데이터가 default에 있을때 partition추가--파티션 대상 테이블 select * from dba.partition_config --파티션 추가 방법 1. default 파티션의 내용을 tmp 테이블에 백업 --확인 select * from bimart.tb_trade_daily_1_prt_pdefault; -- 임시테이블에 담기 create table public.tmp_tb_trade_daily as select * from bimart.tb_trade_daily_1_prt_pdefault 2. default 파티션 drop alter table bimart.tb_trade_daily drop default partition; 3. 신규파티션 추가 ##3월 일일 Partition ADD## ..
greenplum에서 appendonly = "YES" 데이터삭제 greenplum에서 appendonly = "YES" 데이터삭제appendonly가 속도는 빠르지만 삭제가 안되서 하는수 없이 만듬.허접한 쿼리지만 그린플럼 성능이 있어서 느리지는 않네요. CREATE OR REPLACE FUNCTION public.partition_delete_check(range_start_input text, range_end_input text, comp_input text, input_type character varying) RETURNS integer AS$BODY$DECLAREsql text;start_val integer;end_val integer; BEGIN-- prepared statementsql := 'select coalesce(max(1),0) where ..
greenplum oid 중복 제거하려고 create temp table tmp_TABasselect PK, min(oid) min_oid from TAB group by 1; select a.* from TAB a join tmp_TAB b on a.oid = b.min_oid; 했다가 결과안나와서 분석해보니greenplum은 GP_SEGMENT_ID 별로 oid가 unique.그러니... PK별로 minimum GP_SEGMENT_ID, oid를 구해야하니.
ERROR: insufficient memory reserved for statement (memquota.c:228) query작업시 union all 로 1400건정도를 붙혔더니 ERROR: insufficient memory reserved for statement (memquota.c:228)에러가 나서 아래내용보고 변수 바꾸었더니 실행은 되는데. 쿼리가 150set max_statement_mem='3GB';set statement_mem='2GB'; Thread: ERROR: insufficient memory reserved for statement (memquota.c:228)Thread ToolsDisplay10-20-2011, 09:25 PM#1vfisher Junior MemberJoin DateOct 2011Posts2 ERROR: insufficient memory reserved for state..
Backup or transfer SSIS Packages http://www.sqlis.com/post/Backup-or-transfer-SSIS-Packages.aspx Backup or transfer SSIS Packagesby Darren Green 3 11 2008 22:04 How can you backup your SSIS packages? I've been asked several times, and the answer is it depends. Where do you store your packages? SSIS Package Store The SSIS package store is just a folder on disk, so regular file system backups should suffice, or you can backup tha..