अवधि के अनुसार BigQuery की शीर्ष क्वेरी

यह क्यों मायने रखता है

निष्पादन समय सिर्फ लागत से परे मायने रखता है। 30 मिनट तक चलने वाली क्वेरी एक डेटा पाइपलाइन को ब्लॉक करती है और डैशबोर्ड रिफ्रेश में देरी करती है।

यह कैसे काम करता है

क्वेरी end_time और start_time के बीच TIMESTAMP_DIFF के रूप में निष्पादन समय की गणना करती है। यह seconds-per-GiB अनुपात की गणना भी करती है।

SQL क्वेरी

-- Slowest queries ranked by wall-clock execution time

DECLARE lookback_days INT64 DEFAULT 7;

WITH jobs AS (
  SELECT
    user_email,
    query,
    project_id,
    start_time,
    end_time,
    TIMESTAMP_DIFF(end_time, start_time, SECOND) AS duration_sec,
    COALESCE(total_bytes_billed, 0) AS bytes_billed,
    total_slot_ms,
    ROW_NUMBER() OVER (PARTITION BY job_id ORDER BY end_time DESC) AS rn
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
  WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND job_type = 'QUERY' AND state = 'DONE' AND total_slot_ms IS NOT NULL
),
deduplicated AS (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY query ORDER BY bytes_billed DESC) AS qrn
  FROM jobs WHERE rn = 1
)
SELECT
  user_email,
  query,
  project_id,
  start_time,
  duration_sec,
  ROUND(SAFE_DIVIDE(total_slot_ms, duration_sec * 1000), 0) AS avg_slots,
...

क्वेरी व्याख्या

दो स्तर की डीडुप्लिकेशन: पहले job_id द्वारा, फिर क्वेरी टेक्स्ट द्वारा। sec_per_gib मेट्रिक निष्पादन समय को बिल किए गए बाइट्स से विभाजित करती है।

मुख्य अंतर्दृष्टि

• lightbulb

  10 मिनट से अधिक की क्वेरी संभवतः अविभाजित तालिकाओं को स्कैन कर रही हैं।

• lightbulb

  उच्च sec_per_gib का मतलब है कि क्वेरी I/O के बजाय कम्प्यूट से सीमित है।

• lightbulb

  कम sec_per_gib का मतलब है कि क्वेरी जल्दी से बहुत सारे डेटा को स्कैन कर रही है।

• lightbulb

  पाइपलाइन में लंबे समय तक चलने वाली क्वेरी सभी डाउनस्ट्रीम निर्भरताओं में देरी का कारण बन सकती हैं।

सर्वोत्तम प्रथाएं

1. 1

   अनियंत्रित क्वेरी को अनिश्चित काल तक संसाधनों का उपभोग करने से रोकने के लिए क्वेरी टाइमआउट सीमाएं सेट करें।

2. 2

   ETL पाइपलाइनों के लिए, लंबे समय तक चलने वाली मोनोलिथिक क्वेरी को छोटे, चरणबद्ध रूपांतरणों में तोड़ें।

3. 3

   सबसे धीमे चरणों की पहचान करने और उन्हें विशेष रूप से अनुकूलित करने के लिए EXPLAIN PLAN का उपयोग करें।

4. 4

   खोजपूर्ण क्वेरी के लिए अनुमानित एकत्रीकरण फ़ंक्शन पर विचार करें।

संबंधित गाइड