Can BigQuery, gerçek zamanlı yerinde talep için yeterince hızlı olabilir

Question

Ziyaretçilerimizin görüntülediği içeriğe bağlı olarak yerinde sorgular yapmak için BigQuery ve API'sini kullanma olasılığını araştırıyorum. Bu nedenle tepki süresi çok önemlidir. Çok basit bir 10k satırlık yapılandırılmış veri kümesini (4columns) yükledim ve çok basit bir sorgu çalıştırıyorum ve 1 ile 2 saniye arasında sürüyor. Sorularımın cevap vermesi oldukça basittir, hiç bir zaman1sec yanıt zamanını BQ API ile veriyi tek bir noktadan optimize ederek mi alacağım?

Çok önceden teşekkürler!

Selamlar, Arjen

Answer 1

BigQuery bir çevrimiçi işlem işleme (OLTP) veritabanı değildir, ancak içindeki terabaytları taramak için bir etkileşimli analiz veritabanıdır. saniye. Sorgulama süresi oldukça tutarlı olsa da, paylaşılan bir hizmet olduğundan, sorgulama süresi garanti edilmez, yani 2 saniyeliğine çalışan sorgu, farklı zaman aralıklarında 1.5 saniye veya 3 saniye çalışabilir. BigQuery'nin doğası ve iç yapısı nedeniyle, < 1s sorgulama süresi, bugün itibariyle gerçekçi değil.

Popüler tasarım modellerinden biri, BigQuery'nin verilerinizin karmaşık analizinin ağır bir şekilde kaldırılmasını ve daha sonra OLTP (mySQL gibi) veya hatta bellekte (Redis gibi) veritabanında depolanmasını ve sonuçların istemcilere sunulmasını sağlamaktır. Buradan. Sorguları arka planda çalıştırarak verileri düzenli olarak güncelleyebilirsiniz.

Answer 2

BigQuery MASSIVELY büyük veri kümelerinin etkileşimli analizi için tasarlanmıştır.
Saniyeler içinde işlem süresi bekleniyor.
Aynı zamanda, daha küçük veri kümesine karşı çalışan sorgu çalışmasının yürütme süresini ikinci sürenin altına getirmesini beklemek, yalnızca bu şekilde tasarlanmadığı için gerçekçi değildir.
Hangi veri boyutuna sahip olursanız olun - büyük masrafları işliyormuş gibi tüm masrafları “ödersiniz”.

Kısa cevapsızlık:
Bugün - Not! Yarın - Hayır! Gün sonra - asla bilemezsiniz, ama sanmıyorum, BigQuery başka bir şeye dönüşmedikçe