मिनट के अनुसार BigQuery समवर्ती क्वेरी

यह क्यों मायने रखता है

BigQuery में समवर्ती सीमाएं हैं जो बिलिंग मॉडल के अनुसार भिन्न होती हैं — ऑन-डिमांड के लिए 100 समवर्ती क्वेरी। जब आप इन सीमाओं से अधिक हो जाते हैं, तो क्वेरी कतारबद्ध हो जाती हैं।

यह कैसे काम करता है

क्वेरी INFORMATION_SCHEMA.JOBS_TIMELINE_BY_PROJECT से पढ़ती है, job_id द्वारा डीडुप्लिकेट करती है, timestamps को मिनटों तक ट्रंकेट करती है, और मिनट अवधि के अनुसार अलग-अलग जॉब गिनती है।

SQL क्वेरी

-- Count concurrent queries per minute to detect bottlenecks

DECLARE lookback_days INT64 DEFAULT 7;

WITH timeline AS (
  SELECT
    TIMESTAMP_TRUNC(period_start, MINUTE) AS minute,
    job_id,
    ROW_NUMBER() OVER (PARTITION BY job_id ORDER BY job_creation_time DESC) AS rn
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE_BY_PROJECT
  WHERE job_creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND job_type = 'QUERY'
    AND parent_job_id IS NULL
)
SELECT
  minute,
  COUNT(job_id) AS concurrent_queries
FROM timeline
WHERE rn = 1
GROUP BY minute
ORDER BY minute

क्वेरी व्याख्या

JOBS_TIMELINE_BY_PROJECT निष्पादन के प्रति सेकंड प्रति जॉब एक पंक्ति लॉग करता है। ROW_NUMBER() डीडुप्लिकेशन सुनिश्चित करता है कि प्रत्येक जॉब एक बार गिना जाए।

मुख्य अंतर्दृष्टि

• lightbulb

  >50 समवर्ती क्वेरी वाले मिनट ऑन-डिमांड समवर्ती सीमाओं (प्रति प्रोजेक्ट 100) को हिट करने का जोखिम उठाते हैं।

• lightbulb

  विशिष्ट समय पर लगातार उच्च समवर्ती शेड्यूल्ड जॉब ओवरलैप का संकेत देती है।

• lightbulb

  समवर्ती में बढ़ोत्तरी के बाद गिरावट यह संकेत दे सकती है कि कुछ क्वेरी कतारबद्ध हो रही हैं।

• lightbulb

  उच्च स्लॉट उपयोग के साथ कम समवर्ती कुछ बहुत भारी क्वेरी को इंगित करती है।

सर्वोत्तम प्रथाएं

1. 1

   पीक समवर्ती को कम करने के लिए पाइपलाइन प्रारंभ समय को 1-2 मिनट से भी स्थानांतरित करें।

2. 2

   ad hoc क्वेरी को बैच जॉब के पीछे कतारबद्ध होने से रोकने के लिए BigQuery की जॉब प्राथमिकता सेटिंग का उपयोग करें।

3. 3

   queued_queries व्यू का उपयोग करके PENDING स्थिति में क्वेरी की निगरानी करें।

4. 4

   अपनी पीक समवर्ती को संभालने के लिए पर्याप्त max_slots के साथ Editions आरक्षण पर विचार करें।

संबंधित गाइड