ROLAP sütunu veritabanı

Question

Çok basit bir kullanım durumumuz var ancak ihtiyaçlarımıza en uygun DB çözümünü seçmekte zorlanıyoruz.

gereksinimi:

Bir OLAP DB bize farklı özelliklerde (bin) tarafından kayıtları milyonlarca sorgulamak için izin verir ve bir birincil anahtar tutabilir. Ayrıca, verileri yüklerken kısmen hızlı olmalıdır.

kullanım-case:

Biz kullanıcıların veritabanını var ve her kullanıcının farklı özelliklere aittir. En fazla 10k özelliği vardır, ancak çoğu kullanıcının 30'dan az özelliği vardır.

Örnek tablosu:

kullanıcı/özellikleri

kullanici1/1,5,10

kullanıcı2/7,5,9,24,42,1090

kullanıcı3/9

user4/98,1049,2000

. .

İdeal senaryo, her özelliğin bir sütun olduğu ve veritabanının 10k'dan fazla özelliğe izin verdiği bir sütun deposu veritabanına sahip olmaktır.

MonetDB bize sadece doğru uyuyor, ama iki çok kritik olumsuzlukları vardır:

• Toplu yük bize yüklenen kayıt başına 5 ms verdi testlerimizde, çok düşüktür. 1M kayıtları yüklemek için çok yavaş bir saatten fazla sürer.
• Yinelenen birincil anahtarda toplu yükleme başarısız oluyor ("yinelenen anahtarda" özellik değerlerini güncellemek istiyoruz, ancak bu veritabanı ile mümkün değil).

Ayrıca druid hakkında da düşünüyorduk, ama daha çok "olay" sürüyor. Her mülk eklendiğinde bir zaman damgasına ihtiyacınız var. Karar verilmemiştir, ancak ihtiyacımız olan şey için mükemmel bir uyum değildir.

Gerekirse daha fazla açıklama verebilirim, herhangi bir rehberlik gerçekten takdir edilecektir!

Teşekkür

Answer 1

Bu veritabanına nasıl toplu yükleme belirsizdir. 100 sütun ve 125M satırlık bir tablo üzerinde basit bir COPY INTO, sıradan bir 4core masaüstü ve 16G RAM'de yaklaşık yarım saat daha fazla almaz. Bakınız örn. http://homepages.cwi.nl/~mk/ontimeReport

10K sütunları tanıtmanın, her kullanıcı için tüm değerlerin ayarlandığını uyardığını unutmayın. Veritabanı tasarımınızı tekrar gözden geçirebilir ve kullanıcıya daha çok güvenebilirsiniz: özellik tablosu kurulumu.