उपयोगकर्ता के अनुसार BigQuery लागत विश्लेषण

यह क्यों मायने रखता है

उपयोगकर्ता-स्तरीय लागत एट्रिब्यूशन के बिना, संगठन अक्सर यह पहचानने में संघर्ष करते हैं कि अप्रत्याशित बिल स्पाइक्स के लिए कौन जिम्मेदार है। एक अनुकूलित नहीं की गई ad hoc क्वेरी चलाने वाला एक उपयोगकर्ता आसानी से किसी प्रोजेक्ट के कुल खर्च का 30-50% हिस्सा हो सकता है।

यह कैसे काम करता है

BigQuery का INFORMATION_SCHEMA.JOBS_BY_PROJECT व्यू किसी प्रोजेक्ट में निष्पादित प्रत्येक जॉब के मेटाडेटा में उपयोगकर्ता का ईमेल, कुल बिल किए गए बाइट्स और स्लॉट उपयोग शामिल करता है। यह क्वेरी प्रति उपयोगकर्ता total_bytes_billed एकत्रित करती है और इसे $6.25 प्रति TiB की दर से ऑन-डिमांड लागत में परिवर्तित करती है।

SQL क्वेरी

-- Rank users by estimated on-demand cost

DECLARE lookback_days INT64 DEFAULT 30;

WITH jobs AS (
  SELECT
    user_email,
    job_id,
    COALESCE(total_bytes_billed, 0) AS bytes_billed,
    ROW_NUMBER() OVER (PARTITION BY job_id ORDER BY end_time DESC) AS rn
  FROM `your-project`.`region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
  WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL lookback_days DAY)
    AND job_type = 'QUERY'
    AND state = 'DONE'
    AND total_slot_ms IS NOT NULL
),
deduplicated AS (
  SELECT user_email, bytes_billed FROM jobs WHERE rn = 1
)
SELECT
  user_email,
  COUNT(*) AS query_count,
  ROUND(SUM(bytes_billed) / POW(1024, 4), 4) AS tib_scanned,
  ROUND(SUM(bytes_billed) / POW(1024, 4) * 6.25, 2) AS estimated_cost_usd
FROM deduplicated
GROUP BY user_email
ORDER BY estimated_cost_usd DESC

क्वेरी व्याख्या

क्वेरी लुकबैक विंडो के भीतर INFORMATION_SCHEMA.JOBS_BY_PROJECT से प्रत्येक पूर्ण क्वेरी जॉब को एकत्र करती है। ROW_NUMBER() का उपयोग करके job_id के आधार पर जॉब्स को डीडुप्लिकेट करती है। फिर user_email के अनुसार समूहबद्ध करती है, total_bytes_billed का योग करती है, और बाइट्स को TiB में परिवर्तित करने के बाद $6.25/TiB से गुणा करती है।

मुख्य अंतर्दृष्टि

• lightbulb

  कुछ ही उपयोगकर्ता अक्सर अधिकांश लागत के लिए जिम्मेदार होते हैं — जांचें कि क्या शीर्ष 3 उपयोगकर्ता कुल खर्च के 50% से अधिक का प्रतिनिधित्व करते हैं।

• lightbulb

  सेवा खाते (dbt, Looker, Airflow) अक्सर सूची में शीर्ष पर होते हैं क्योंकि वे बड़े पैमाने पर शेड्यूल्ड क्वेरी चलाते हैं।

• lightbulb

  उच्च लागत लेकिन कम क्वेरी संख्या वाले उपयोगकर्ता संभवतः अनुकूलित नहीं की गई क्वेरी चला रहे हैं जो बड़ी मात्रा में डेटा स्कैन करती हैं।

• lightbulb

  व्यवहार में अचानक बदलाव का पता लगाने के लिए सप्ताह-दर-सप्ताह उपयोगकर्ता लागतों की तुलना करें।

सर्वोत्तम प्रथाएं

1. 1

   प्रतिदिन प्रति उपयोगकर्ता बिल किए गए बाइट्स को सीमित करने के लिए BigQuery कस्टम कॉस्ट कंट्रोल सेट करें।

2. 2

   इंटरैक्टिव/ad hoc क्वेरी के लिए LIMIT क्लॉज या पार्टीशन फिल्टर की आवश्यकता करें।

3. 3

   स्वचालित लागतों को मानव-संचालित लागतों से अलग करने के लिए शेड्यूल्ड क्वेरी जॉब पर लेबल का उपयोग करें।

4. 4

   इंजीनियरिंग लीड्स के साथ यह रिपोर्ट साझा करें ताकि वे टीम सदस्यों को क्वेरी सर्वोत्तम प्रथाओं पर मार्गदर्शन कर सकें।

संबंधित गाइड