मिनट के अनुसार BigQuery स्लॉट उपयोग

यह क्यों मायने रखता है

घंटावार औसत छोटे लेकिन तीव्र स्लॉट बर्स्ट को छिपा सकते हैं जो क्वेरी कतारबद्धता और प्रदर्शन गिरावट का कारण बनते हैं।

यह कैसे काम करता है

JOBS_TIMELINE से MINUTE ग्रेनुलैरिटी पर period_slot_ms एकत्र करता है, 60,000 (मिलीसेकंड प्रति मिनट) से विभाजित करता है।

SQL क्वेरी

-- Average slot consumption per minute (zero-filled)

DECLARE lookback_days INT64 DEFAULT 3;
DECLARE ms_per_min INT64 DEFAULT 60000;

WITH minute_slots AS (
  SELECT
    TIMESTAMP_TRUNC(period_start, MINUTE) AS minute,
    ROUND(SUM(period_slot_ms) / ms_per_min, 2) AS avg_slots
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_TIMELINE
  WHERE period_start >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND statement_type != 'SCRIPT'
  GROUP BY minute
),
calendar AS (
  SELECT ts AS minute FROM UNNEST(GENERATE_TIMESTAMP_ARRAY(
    TIMESTAMP_TRUNC(TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY), MINUTE),
    TIMESTAMP_TRUNC(CURRENT_TIMESTAMP(), MINUTE),
    INTERVAL 1 MINUTE)) AS ts
)
SELECT
  c.minute,
  IFNULL(m.avg_slots, 0) AS avg_slots
FROM calendar c
LEFT JOIN minute_slots m ON c.minute = m.minute
ORDER BY c.minute

क्वेरी व्याख्या

घंटावार/दैनिक के समान पैटर्न लेकिन मिनट ग्रेनुलैरिटी पर। ms_per_min विभाजक 60,000 ms है। लंबी लुकबैक विंडो के लिए, यह क्वेरी एक बड़ा परिणाम सेट लौटा सकती है।

मुख्य अंतर्दृष्टि

• lightbulb

  केवल 1-2 मिनट तक चलने वाले स्लॉट बर्स्ट आमतौर पर उपयोगकर्ताओं से ad hoc क्वेरी होते हैं।

• lightbulb

  10-15 मिनट के निरंतर पठारों का अर्थ है बैच पाइपलाइन रन।

• lightbulb

  यदि बर्स्ट आपके Editions max_slots से अधिक हो जाते हैं, तो क्वेरी कतारबद्ध हो रही हैं।

• lightbulb

  प्रत्येक बर्स्ट का कारण बनने वाली पाइपलाइन की पहचान करने के लिए अपने cron/Airflow शेड्यूल के साथ बर्स्ट टाइमिंग की तुलना करें।

सर्वोत्तम प्रथाएं

1. 1

   मिनट-स्तरीय P99 मांग को कवर करने के लिए अपना Editions autoscaler max slots सेट करें।

2. 2

   मिनट ग्रेनुलैरिटी पर विश्लेषण करते समय lookback_days को छोटा रखें।

3. 3

   एक साथ कितनी क्वेरी चल रही हैं यह देखने के लिए बर्स्ट को समवर्ती क्वेरी के साथ क्रॉस-रेफरेंस करें।

4. 4

   एक सीमा से ऊपर निरंतर स्लॉट उपयोग के लिए CloudClerk अलर्ट सेट करें।

संबंधित गाइड