GCP (2) 썸네일형 리스트형 GCP composer(airflow) 에서 jdbc to jdbc 데이터 적재하기 회사에서 Veritca to mysql(cloud sql) 로 배치를 만들어야 되는 일을 하게 되었다. airflow 에서 지원하는 operator 에는 VerticaToMySqlOperator 가 있긴 하다. 처음에는 저걸로 ETL을 구현하려고 했으나 .... 테스트중 문제가 발생 데이터 건수가 작을때는 문제 없었다. 그러나 120만건 정도 넘어가니 아래와 같은 오류 메시지가 나오면서 task가 죽어 버리는 현상이 발생한다. 구글에 문의해서 얻은 답은 해당 task가 메모리를 과도하게 써서 kill 시킨거라고 한다. VerticaToMySqlOperator 이 소스를 보니 fetchall 이였다. 양이 늘어 나면 늘어날수록 메모리에 적재하다 임계치에 오면 kill이 되는거였군.. 음.. 평균 600-7.. CGP composer(Airflow) 알림 teams로 받기 gcp airflow dag의 실패시 teams 로 알림을 받으려고 하였으나 . 제공되는 provider list에 메시져는 slack, telegram, discord 밖에 없었다 https://airflow.apache.org/docs/#providers-packages-docs-apache-airflow-providers-index-html Documentation Platform created by the community to programmatically author, schedule and monitor workflows. airflow.apache.org 해서 여기 저기 찾아 보니 teams 로 알림 보내는 plugins을 만든분이 있어 github에서 소스를 다운 받았다 https://g.. 이전 1 다음
