Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional Korean Version) - Databricks-Certified-Data-Engineer-Professional Korean Exam Practice Test

A. 카탈로그 소유자. 카탈로그 소유자는 메타스토어 내의 모든 카탈로그에 있는 모든 객체를 전송할 수 있기 때문입니다.

B. 메타스토어 관리자. 메타스토어 관리자는 공유 및 수신자를 포함한 모든 메타스토어 객체에 대한 소유권 이전 및 권한 관리를 할 수 있기 때문입니다.

C. 워크스페이스 관리자. 워크스페이스 관리자는 모든 Unity 카탈로그 객체의 소유권을 이전할 수 있기 때문입니다.

D. 계정 관리자. 계정 관리자는 메타스토어만 생성할 수 있고 카탈로그 소유권을 변경할 수는 없기 때문입니다.

A. 모든 Delta Lake 트랜잭션은 단일 테이블에 대해 ACID를 준수하며, Databricks는 외래 키 제약 조건을 적용하지 않습니다.

B. 외래 키는 기본 키 필드를 참조해야 하며, 여러 테이블에 데이터를 삽입할 때는 Delta Lake의 upsert 기능을 활용해야 합니다.

C. Databricks는 Spark SQL 및 JDBC를 지원하며, 모든 로직은 리팩토링 없이 소스 시스템에서 직접 마이그레이션할 수 있습니다.

D. Databricks는 해시된 식별자에 대해서만 외래 키 제약 조건을 허용하여 고도로 병렬화된 쓰기 작업에서 충돌을 방지합니다.

E. 여러 테이블에 동시에 커밋하려면 여러 테이블 잠금을 설정해야 하므로 교착 상태가 발생할 수 있습니다.

A. SQL 파이프라인과 함께 Lakeflow Spark 선언적 파이프라인을 사용하고, critical_fields가 null이 아닌 행을 삭제하도록 구성하며, 잘못된 형식의 데이터는 감사 로그를 통해 확인합니다.

B. inferSchema=True로 노트북 작업을 생성하고, .foreachBatch()를 사용하여 스트리밍 쿼리를 작성하고, try/except를 사용하여 예외를 처리하여 실패한 배치를 격리합니다.

C. failFast 모드를 false로 설정하고 스키마 진화를 활성화하는 자동 로더를 사용하세요. 유효하지 않은 레코드는 수집 중에 자동으로 무시됩니다.

D. LDP와 함께 자동 로더를 사용하고 레코드 감사 로직을 포함하는 EXPECT() 제약 조건을 구현하여 잘못된 레코드를 라우팅합니다.

A. 애플리케이션의 개별 요소 동작을 검증합니다.

B. 애플리케이션의 하위 시스템 간의 상호 작용을 검증합니다.

C. 애플리케이션 사용 사례를 검증합니다.

D. 자동화된 테스트 프레임워크가 필요합니다

E. 수동 개입 필요

A. 예; 변경 데이터 피드는 외래 키를 사용하여 레이크하우스 전체에서 삭제 일관성을 보장합니다.

B. 아니요. 변경 데이터 피드는 삽입 및 업데이트만 추적하고 삭제된 레코드는 추적하지 않습니다.

C. 예; Delta Lake ACID는 DELETE 명령이 해당 레코드를 완전히 영구적으로 삭제하는 데 성공했음을 보장합니다.

D. 아니요; Delta Lake의 DELETE 명령어는 MERGE INTO 명령어와 함께 사용할 때만 ACID 보장을 제공합니다.

E. 아니요. 삭제된 레코드가 포함된 파일은 BACUM 명령을 사용하여 무효화된 데이터 파일을 제거하기 전까지는 타임 트래블을 통해 계속 접근할 수 있습니다.

A. databricks 작업 실행 my_project_job --env prod

B. databricks에서 my_project_job -e prod를 실행합니다.

C. databricks bundle run my_project_job -t prod

D. databricks run my_project_job -t prod

A. 전체 레코드 수는 파케트 파일 메타데이터를 기반으로 계산됩니다.

B. 전체 행 수는 모든 데이터 파일을 스캔하여 계산됩니다.

C. 총 레코드 수는 Delta 거래 로그에서 계산됩니다.

D. 전체 레코드 수는 Hive 메타스토어에서 계산됩니다.

E. 새로 고침(REFRESH)을 실행하지 않으면 캐시된 결과에서 총 행 수가 반환됩니다.

A. customer_dim에서 스트리밍할 때 ignoreChanges 플래그를 사용하여 업데이트 및 삭제 중에 파이프라인이 중단되는 것을 방지하십시오.

B. customer_dim 테이블에서 변경 데이터 피드를 읽고 필터를 적용하여 변경 이벤트에 대해 점진적으로 조치를 취합니다.

C. customer_dim 테이블에서 스트리밍하는 것은 SCD 2 보존 조건에서만 가능합니다.

D. SCD 1로 저장할 경우, AUTO CDC INTO의 대상에는 업데이트 및 삭제가 포함됩니다. 이러한 작업으로 인해 customer_dim에서 스트리밍이 실패할 수 있습니다. 대신 원본 소스에서 다른 스트림을 생성하십시오.

A. 총 디스크 공간은 일정하게 유지됩니다.

B. 네트워크 I/O는 절대 급증하지 않습니다.

C. 수신 바이트는 초당 8천만 바이트를 초과하지 않습니다.

D. 5분 평균 부하량이 일정하게 유지됩니다/평탄하게 유지됩니다

E. 전체 클러스터 CPU 사용률은 약 25%입니다.

A. 모든 단계가 분리되어 개별적으로 테스트되므로 문제 해결이 더 쉽습니다.

B. 애플리케이션의 전체 사용 사례를 검증합니다.

C. 원하는 최종 결과를 얻기 위해 모든 단계가 올바르게 상호 작용하도록 보장합니다.

D. 데이터 품질을 향상시킵니다

E. 배포 및 실행 시간이 더 빠릅니다.

A. 오류를 무시하고 파이프라인을 다시 실행하세요. Databricks는 다음 실행 시 문제가 있는 레코드를 자동으로 건너뜁니다.

B. 데이터 품질과 관계없이 향후 발생할 수 있는 오류를 방지하기 위해 파이프라인에서 모든 기대치를 제거합니다.

C. 유효하지 않은 레코드가 출력에 포함되어 파이프라인이 실패하지 않도록 예상 동작을 실패에서 경고로 변경합니다.

D. 파이프라인 코드를 수정하고 파이프라인을 다시 실행하기 전에 오류가 있는 데이터를 격리하는 격리 로직을 구현합니다.

A. 윈도우 함수를 사용하여 LDP 파이프라인의 update_timestamp와 같은 동일한 파티션 내에서 update_sequence_id를 정렬합니다.

B. AUTO CDC API에서 track_history_column_list를 [event_timestamp, event_id]로 설정합니다.

C. AUTO CDC API에서 SEQUENCE BY STRUCT(event_timestamp, update_sequence_id)를 사용하세요.

D. LDP에서 순서가 잘못되었거나 중복된 레코드를 제거하려면 dropDuplicates()를 사용하십시오.

A. 구조적 스트리밍을 사용하는 자동 로더를 통해 데이터 수집을 구현하고, 체크포인트 및 병합 로직을 사용하여 유효하지 않은 데이터 처리 및 테이블 업데이트를 관리합니다.

B. Spark 작업을 통해 Delta 테이블에 직접 데이터를 수집하고, UDF를 사용하여 데이터 품질 필터를 적용하고, LDP를 사용하여 구체화된 뷰를 생성합니다.

C. 하이브리드 방식을 사용합니다. 자동 로더를 사용하여 브론즈 테이블에 데이터를 수집한 다음, Databricks 워크플로에서 SQL 쿼리를 사용하여 처리하고, 정해진 일정에 따라 정리된 실버 및 골드 테이블을 생성합니다.

D. LDP를 사용하여 스트리밍 테이블과 구체화된 뷰를 포함하는 선언적 파이프라인을 구축하고, 데이터 기대치 및 증분 처리에 대한 내장 지원을 활용합니다.

A. Databricks Jobs REST API(/jobs/run-now), CLI(databricks jobs run-now) 또는 Databricks SDK 중 하나를 사용하여 프로그래밍 방식으로 작업을 실행합니다.

B. dbutils.notebook.run()을 사용하여 각 단계를 호출하는 단일 오케스트레이터 노트북을 생성하고, 해당 노트북에 대한 작업을 정의하고, 노트북 수준에서 재시도 및 알림을 구성합니다.

C. Databricks Asset Bundles(DAB)를 사용하여 워크플로를 배포한 다음 작업 공간에서 각 작업의 노트북 또는 스크립트 경로를 참조하여 개별 작업을 직접 실행할 수 있습니다.

D. UI, Databricks Asset Bundles(DAB) 또는 Jobs REST API(/jobs/create)를 사용하여 노트북, Python wheel 및 SQL 작업을 포함하는 다중 작업 작업을 생성합니다. 작업 정의에서 작업 수준 재시도 및 이메일 알림을 구성합니다.

E. REST API 엔드포인트 /jobs/runs/submit을 사용하여 각 작업을 개별적으로 별도의 작업 실행으로 트리거하고 오케스트레이터에서 사용자 지정 로직을 사용하여 재시도를 구현합니다.

A. 개인 액세스 토큰에 올바른 자격 증명이 있는 경우 Databricks REST API를 사용하여 비밀 키를 일반 텍스트로 나열할 수 있습니다.

B. 계정 관리자는 Databricks 계정 콘솔에 로그인하여 모든 비밀 키를 일반 텍스트로 볼 수 있습니다.

C. 저장된 비밀값을 순회하며 각 문자를 출력하면 비밀값의 내용이 평문으로 표시됩니다.

D. 비밀 정보는 Hive 메타스토어 내의 관리자 전용 테이블에 저장됩니다. 데이터베이스 관리자는 기본적으로 이 테이블을 조회할 수 있는 권한을 가지고 있습니다.

E. SHA256 해시는 저장된 비밀 정보를 난독화하는 데 사용되므로, 이 해시를 역으로 계산하면 값이 평문으로 표시됩니다.