DataEnginnering (5) 썸네일형 리스트형 airbyte 간단테스트 https://github.com/airbytehq/airbyte 위 github 저장소를 클론하던지 zip으로 다운받던지 해서 설치장소에 설치합니다. 다운 받은 폴더에서 docker-compose up -d 로 실행시킵니다. 정상적으로 설치가 되었다면 localhost:8000 에 접속을 할수 있습니다. .env 파일에 있는 id/password 를 입력 (airbyte / password) 이런 화면이 뜬다. 자 이제 소스 부분을 선택후 원하는 소스의 정보를 입력합니다. 아래는 로컬 db임 따라 해도 안될테니 알아서들 입력해주세요 airbyte docker-compose 설치시 같이 설치되는 도커 이미지중 postgresql 에다가 테스트환경을 만들어서 진행해 봅니다. 자 이제 소스 부분을 선택후 원.. redash Query parameter 사용하기 redash query 에서 검색 조건을 사용하기 위해 parameter를 사용해보도록 하겠습니다. https://redash.io/help/user-guide/querying/query-parameters Query Parameters redash.io 위 링크 공식페이지에 query parameter 사용법이 나와 있습니다. 상단메뉴에서 Queries 를 클릭하면 만들어 놓은 Query 들이 보입니다. 우선 저는 예제로 역명을 선택면 해당 역이 조회 되게 만들어볼 예정입니다. 역명을 불러오는 query를 작성해 봅니다. create 를 눌러서 '역명조회' query를 새로 작성해 봅니다. query 작성하고 저장 후 publish 클릭 사용 sql : select distinct 역명, 역번호 fro.. redash - datasource 생성 및 데이터 시각화 예 redash 설치후 datasource 를 생성해 봅니다. 생성 전에 data가 들어 있는 db가 필요 합니다. 저는 postgresql 을 설치해 놓아서 그걸 사용하도록 하겠습니다. 오른쪽 상단에 메뉴를 펼치면 Data Source 메뉴를 확인 할수 있습니다. Data Source 메뉴를 클릭하면 설정창으로 이동합니다. New Data Source를 클릭해줍니다. 팝업창이 뜨면 저는 postgresql 을 연결해야 하니 postgresql 을 찾아 줍니다. 해당 db 정보를 입력하고 create 버튼을 누릅니다. db 정보를 제대로 입력하고 Test Connection 버튼을 클릭하면 오른쪽 하단에 Success 메시지가 나타납니다. DataSource가 생성 되었으니 Query를 생성해 봅니다. 메뉴.. Redash docker-compose 로 설치하기 Open source BI tool 인 Redash docker-compose를 이용하여 손쉽게 설치할수 있습니다. Redash 공식 홈페이지 docker로 설치 하는 가이드 https://redash.io/help/open-source/dev-guide/docker Docker Based Developer Installation Guide redash.io 위 설치 가이드데로 하면 일단 설치는 됩니다. 제경우에는 환경변수를 파일로 안하고 docker-compose.yml file 안에 넣었습니다. redash 환경변수 : https://redash.io/help/open-source/admin-guide/env-vars-settings Environment Variables Settings redash.. JupyterNotebook 과 Postgresql 13 연동하기 Juptyer 에서 postgresql이 드라이버가 없어서 접속이 안될경우 Juptyer 를 실행시키는 docker-compose.yml 에 드라이버를 인식 할수 있도록 환경 변수를 등록해 준다. environment: PYSPARK_SUBMIT_ARGS: --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.1,org.postgresql:postgresql:42.2.19 --driver-class-path /home/jovyan/.ivy2/jars/org.postgresql_postgresql-42.2.19.jar pyspark-shell 아래와 같이 드라이버를 내려 받는것을 볼수 있습니다 Table 연동을 위해 Postgresql에 아래와 같이 테이블.. 이전 1 다음
