안녕하세요!
지난달 진행한 스노우플레이크 세미나에서 간략하게 소개해 드린 Informatica SuperPipe를 소개해 드리려고 합니다.
인포매티카의 IDMC 플랫폼의 데이터 통합 서비스인 Cloud Mass Ingestion 서비스에 포함된
스노우플레이크용 SuperPipe 입니다. 인포매티카에서 스노우플레이크와 합작해서 만든 서비스입니다.
일반적으로 고객은 Informatica를 통해 클라우드 대량 수집 또는 CDC(변경 데이터 캡처)*를 사용하여 데이터를 통합하며, 여기에는 다양한 사용자 인터페이스에 로그인하는 작업이 포함됩니다.
SuperPipe를 사용한다면 SuperPipe 를 통해 고객은 CDC(표준 변경 데이터 캡처) 방식보다
최대 3.5배 빠르게 초기 및 증분 데이터 변경을 모두 복제 및 데이터 통합, 스트리밍할 수 있으며 Snowflake 컴퓨팅 비용을 최대 40% 절감할 수 있는 스노우플레이크용 SuperPipe입니다.
*CDC(Change Data Capture)_데이터의 변경사항을 실시간으로 추적하고 효율적으로 통합, 처리할 수 있는 기술
또한, Deferred merge(지연 병합)을 수행하여 TCO(총 소유 비용) 절감, 실시간으로 복제된 변경된 데이터를 View table로 보여줍니다.
기존 CDC방식은 데이터를 View table로 만드는 작업을 해야 했다면!
SuperPipe는 최종 타겟 테이블에 생성된 데이터를 사용자가 거의 항상 실시간 뷰를 가질 수 있도록 만들어주어 사용자가 보기 편하게 만들어줍니다.
Deferred Merge란 지연 병합으로 병합 작업을 즉시 실행하지 않고 지연시키는 것입니다.
즉, Merge문을 실행할 때 대상 테이블에 대한 모든 변경 사항을 즉시 적용하지 않고, 잠시 동안 메모리나 임시 저장소에 보관합니다.
✅ Snowflake의 Deferred Merge 이점!
- 병합 작업을 지연시킴으로써 Snowflake는 여러 병합 요청을 한 번에 처리할 수 있습니다. 이는 특히 많은 수의 작은 병합 작업이 있는 경우에 성능을 크게 향상시킬 수 있습니다.
여러 개의 병합 작업을 하나로 모아 일괄 처리(batch processing)하여 I/O와 네트워크 트래픽을 줄일 수 있습니다.
일정한 시간 간격으로 또는 일정량의 데이터가 쌓였을 때 자동으로 트리거 되어 실제 병합 작업을 수행합니다. 이를 통해 사용자는 병합 작업을 언제 실행할지 신경 쓸 필요 없이 Snowflake가 최적의 타이밍에 병합을 수행하도록 합니다.
- 데이터를 지연시키는 동안에도 데이터의 일관성을 유지하도록 설계되었습니다. 사용자는 병합 작업이 지연되고 있다는 사실을 알 필요 없이 데이터를 일관성 있게 사용할 수 있습니다.
특히 실시간 데이터 스트리밍이나 빈번한 데이터 업데이트가 발생하는 환경에서 유용합니다. 많은 소규모 업데이트가 발생하는 상황에서 전체적인 시스템 성능을 높이는 데 도움이 됩니다.
이 기능을 Snowflake의 내부 최적화 기법 중 하나로, 사용자는 특별한 설정 없이 이점을 누릴 수 있습니다. 이는 Snowflake의 자동 성능 최적화 메커니즘의 일환으로, 데이터 처리와 관련된 많은 작업을 더욱 효율적으로 처리할 수 있도록 도와줍니다.
또한, Informatica SuperPipe를 사용하기 위해서 따로 복잡한 코드가 필요하지 않고 인포매티카 UI화면 IDMC 메스 인제스쳔 화면(테스크 타겟 설정 시)에서 체크만 하면 기능을 바로 사용할 수 있습니다.
하기 캡쳐 화면은 저희 엔지니어가 실제로 SAP 및 Oracle에서 Snowflake로 데이터를 옮겼을 때 기존 CDC보다 2.4배, 3.4배 빠름을 확인할 수 있었습니다.
평균적으로 최대 3.5배까지 더 빠른 속도를 확인하실 수 있지만 고객사의 환경에 따라 속도는 다를 수 있습니다.
✅ 주요 하이라이트!!
스노우플레이크를 보다 빠르게 비용 효율적으로 사용 가능합니다.
스노우플레이크 내 IDMC의 통합된 네이티브 경험과 파워를 경험할 수 있습니다.
다양한 앱 및 데이터베이스에 대한 연결이 가능합니다.
최대 3.5배의 성능 최적화 및 Snowflake 컴퓨팅 비용 최대 40% 절감할 수 있습니다.
사용 편의성 – 데이터 수집 작업을 구성하기 위한 간단하고 직관적인 인터페이스로 사용자가 더 쉽게 엑세스할 수 있습니다.
고성능 수집 – 최신 혁신 기술과 통합하여 스노우플레이크에 대규모 수집 가능합니다.
스노우플레이크 크레딧 소비에 대한 TCO(총 소유 비용) 이 절감됩니다.
여기까지 인포매티카&스노우플레이크 SuperPipe에 대하여 알아보았습니다.
더 자세한 내용은 하기 영업대표에게 문의 부탁드리며 또 유익한 내용으로 찾아오겠습니다! 감사합니다😊
안녕하세요!
지난달 진행한 스노우플레이크 세미나에서 간략하게 소개해 드린 Informatica SuperPipe를 소개해 드리려고 합니다.
인포매티카의 IDMC 플랫폼의 데이터 통합 서비스인 Cloud Mass Ingestion 서비스에 포함된
스노우플레이크용 SuperPipe 입니다. 인포매티카에서 스노우플레이크와 합작해서 만든 서비스입니다.
일반적으로 고객은 Informatica를 통해 클라우드 대량 수집 또는 CDC(변경 데이터 캡처)*를 사용하여 데이터를 통합하며, 여기에는 다양한 사용자 인터페이스에 로그인하는 작업이 포함됩니다.
SuperPipe를 사용한다면 SuperPipe 를 통해 고객은 CDC(표준 변경 데이터 캡처) 방식보다
최대 3.5배 빠르게 초기 및 증분 데이터 변경을 모두 복제 및 데이터 통합, 스트리밍할 수 있으며 Snowflake 컴퓨팅 비용을 최대 40% 절감할 수 있는 스노우플레이크용 SuperPipe입니다.
*CDC(Change Data Capture)_데이터의 변경사항을 실시간으로 추적하고 효율적으로 통합, 처리할 수 있는 기술
또한, Deferred merge(지연 병합)을 수행하여 TCO(총 소유 비용) 절감, 실시간으로 복제된 변경된 데이터를 View table로 보여줍니다.
기존 CDC방식은 데이터를 View table로 만드는 작업을 해야 했다면!
SuperPipe는 최종 타겟 테이블에 생성된 데이터를 사용자가 거의 항상 실시간 뷰를 가질 수 있도록 만들어주어 사용자가 보기 편하게 만들어줍니다.
Deferred Merge란 지연 병합으로 병합 작업을 즉시 실행하지 않고 지연시키는 것입니다.
즉, Merge문을 실행할 때 대상 테이블에 대한 모든 변경 사항을 즉시 적용하지 않고, 잠시 동안 메모리나 임시 저장소에 보관합니다.
✅ Snowflake의 Deferred Merge 이점!
여러 개의 병합 작업을 하나로 모아 일괄 처리(batch processing)하여 I/O와 네트워크 트래픽을 줄일 수 있습니다.
일정한 시간 간격으로 또는 일정량의 데이터가 쌓였을 때 자동으로 트리거 되어 실제 병합 작업을 수행합니다. 이를 통해 사용자는 병합 작업을 언제 실행할지 신경 쓸 필요 없이 Snowflake가 최적의 타이밍에 병합을 수행하도록 합니다.
특히 실시간 데이터 스트리밍이나 빈번한 데이터 업데이트가 발생하는 환경에서 유용합니다. 많은 소규모 업데이트가 발생하는 상황에서 전체적인 시스템 성능을 높이는 데 도움이 됩니다.
이 기능을 Snowflake의 내부 최적화 기법 중 하나로, 사용자는 특별한 설정 없이 이점을 누릴 수 있습니다. 이는 Snowflake의 자동 성능 최적화 메커니즘의 일환으로, 데이터 처리와 관련된 많은 작업을 더욱 효율적으로 처리할 수 있도록 도와줍니다.
또한, Informatica SuperPipe를 사용하기 위해서 따로 복잡한 코드가 필요하지 않고 인포매티카 UI화면 IDMC 메스 인제스쳔 화면(테스크 타겟 설정 시)에서 체크만 하면 기능을 바로 사용할 수 있습니다.
하기 캡쳐 화면은 저희 엔지니어가 실제로 SAP 및 Oracle에서 Snowflake로 데이터를 옮겼을 때 기존 CDC보다 2.4배, 3.4배 빠름을 확인할 수 있었습니다.
평균적으로 최대 3.5배까지 더 빠른 속도를 확인하실 수 있지만 고객사의 환경에 따라 속도는 다를 수 있습니다.
✅ 주요 하이라이트!!
스노우플레이크를 보다 빠르게 비용 효율적으로 사용 가능합니다.
스노우플레이크 내 IDMC의 통합된 네이티브 경험과 파워를 경험할 수 있습니다.
다양한 앱 및 데이터베이스에 대한 연결이 가능합니다.
최대 3.5배의 성능 최적화 및 Snowflake 컴퓨팅 비용 최대 40% 절감할 수 있습니다.
사용 편의성 – 데이터 수집 작업을 구성하기 위한 간단하고 직관적인 인터페이스로 사용자가 더 쉽게 엑세스할 수 있습니다.
고성능 수집 – 최신 혁신 기술과 통합하여 스노우플레이크에 대규모 수집 가능합니다.
스노우플레이크 크레딧 소비에 대한 TCO(총 소유 비용) 이 절감됩니다.
여기까지 인포매티카&스노우플레이크 SuperPipe에 대하여 알아보았습니다.
더 자세한 내용은 하기 영업대표에게 문의 부탁드리며 또 유익한 내용으로 찾아오겠습니다! 감사합니다😊