आवृत्ति के अनुसार BigQuery की शीर्ष क्वेरी

यह क्यों मायने रखता है

एक क्वेरी जो प्रति निष्पादन $0.10 लागत करती है लेकिन प्रति माह 10,000 बार चलती है वह $1,000 लागत करती है। आवृत्ति विश्लेषण अक्सर कम लागत वाली क्वेरी प्रकट करता है जो केवल दोहराव के कारण महत्वपूर्ण खर्च में जोड़ते हैं।

यह कैसे काम करता है

क्वेरी प्रत्येक अद्वितीय क्वेरी टेक्स्ट को समूहबद्ध करती है, फिर प्रत्येक समूह द्वारा घटनाओं और total_bytes_billed का योग गिनती करती है।

SQL क्वेरी

-- Find the most frequently repeated queries and their cumulative cost

DECLARE lookback_days INT64 DEFAULT 14;

WITH jobs AS (
  SELECT
    query,
    COALESCE(total_bytes_billed, 0) AS bytes_billed,
    ROW_NUMBER() OVER (PARTITION BY job_id ORDER BY end_time DESC) AS rn
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
  WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND job_type = 'QUERY' AND state = 'DONE' AND total_slot_ms IS NOT NULL
),
deduplicated AS (
  SELECT query, bytes_billed FROM jobs WHERE rn = 1
),
grouped AS (
  SELECT
    query,
    COUNT(*) AS exec_count,
    SUM(bytes_billed) AS total_bytes
  FROM deduplicated
  GROUP BY query
)
SELECT
  query,
  exec_count,
  ROUND(total_bytes / POW(1024, 3), 2) AS total_gib_scanned,
  ROUND(total_bytes / POW(1024, 4) * 6.25, 2) AS cumulative_cost_usd
FROM grouped
...

क्वेरी व्याख्या

जॉब पहले job_id द्वारा डीडुप्लिकेट किए जाते हैं, फिर क्वेरी टेक्स्ट द्वारा समूहबद्ध। गिनती निष्पादन आवृत्ति देती है, और बिल किए गए बाइट्स का योग संचयी लागत देता है।

मुख्य अंतर्दृष्टि

• lightbulb

  प्रति दिन >100 बार चलने वाली क्वेरी लगभग निश्चित रूप से स्वचालित हैं।

• lightbulb

  BigQuery डिफ़ॉल्ट रूप से 24 घंटे के लिए परिणाम कैश करता है, लेकिन केवल नियतात्मक परिणामों वाली समान क्वेरी के लिए।

• lightbulb

  CURRENT_TIMESTAMP() या NOW() वाली क्वेरी कैश को बायपास करती हैं।

• lightbulb

  समान तालिकाओं को स्कैन करने वाली उच्च-आवृत्ति क्वेरी मैटेरियलाइज्ड व्यू से लाभ उठा सकती हैं।

सर्वोत्तम प्रथाएं

1. 1

   BigQuery रिजल्ट कैशिंग सक्षम करें और उन पैटर्न से बचें जो इसे विफल करते हैं।

2. 2

   शीर्ष 5 सबसे बार निष्पादित विश्लेषणात्मक क्वेरी के लिए मैटेरियलाइज्ड व्यू बनाएं।

3. 3

   विभिन्न डैशबोर्ड या सेवाओं से डुप्लिकेट क्वेरी को एक एकल शेड्यूल्ड क्वेरी में समेकित करें।

4. 4

   इंटरैक्टिव डैशबोर्ड पावर करने वाली सब-सेकेंड क्वेरी के लिए BI Engine का उपयोग करें।

संबंधित गाइड