SQL/SSIS DataWareHouse Bilgi tablosu yükleme, en iyi uygulamalar?

Question

İlk veri yazılımımı SQL 2008/SSIS'de yapıyorum ve gerçek tabloları yüklemek için bazı en iyi uygulamaları arıyorum.

Şu anda DW'mde Tip 1 SCD'den yaklaşık 20 Boyut (Ofisler, Çalışanlar, Ürünler, Müşteri, vb.) Var. Benim dw yapısında, ben zaten uyguladığına ilişkin birkaç şey vardır:

• Yok Boşlara her bir boyut (SK ID 0 doldurulan
• bilinmeyen kilit üyelerinin (evreleme sırasında sayısal için metin veya 0 boş ile değiştirilir)) aşamasından üretim tablosuna SCD Tip 1 yükleme
• UPSERT
zaman Gerçek yükleme SSIS projesinde

, bir yükleme boyutları için olan mevcut bir yöntemdir boyutlarının zaman yükleme için farklı SEÇ DIM'lerin her birine birden fazla arama (20+) daha sonra FACT tablosunu verilerle doldurur. Benim Aramalar

belirlediğim:

"eşleşen girdileri" için Hataları görmezden

• Tam Önbellek
"ISNULL (surrogate_idkey) 0: surrogate_idkey" ile
• Türetilmiş Dönüşüm her SK böylece arama başarısız olursa, SK ID 0'a (bilinmeyen üye) varsayılan değer verilir.
• benim boyut aramalarının bazı önemli bir iş daha var

bu iyi yaklaşım mı? Yukarıdaki açıklamayla ilgili ekli resimler.

Answer 1

iyi görünüyor. Performans sorunları ile karşılaşmaya başlarsanız seçenekler vardır, ancak eğer bu kararlı ise (veri yükleme süresi penceresi içinde bitiyorsa, kaynak sistemleri kaynaklardan yoksun değil, vs.), sonra değişecek bir neden göremiyorum. nedeniyle SSIS bellek kısıtlamaları

Bazı olası sorunları göz kulak için ...

1. senin ölçüler büyüklüğü artarsa ​​tam önbellek arama-dönüşümler bir sorun teşkil edebilir 20+ sahip ... sistem ... ama tip 1 oldukları için endişelenmem.
2. tam önbellek aramaları "hidrat" önceden yürütme ... Bunlardan 20+ (yukarıda olan ile) aşağı

ortak bir alternatif sizi yavaşlatabilir sahip olmaktan gerçeği tablo veri ayıklamak etmektir Kaynak sistemi ve bir SQL deyimi aracılığıyla boyut anahtar aramaları yapmadan önce bir hazırlama alanında karaya. Bazıları, özellikle bu amaç için hazırlama alanında bir dizi boyut eşleme tabloları bulundurur. Bu, kaynak sistemde kilitleme/engellemeyi azaltır. Her bir yükte çok fazla veri varsa ve verileri emerken ve bu 20'den fazla arama dönüşümü boyunca çalıştırdığınızda kaynak sistemi engellemek zorunda kalırsanız.

Geniş bir veri alanı, büyük boyutlar, karmaşık anahtar eşlemeleri (genellikle çoklu kaynak sistemleri nedeniyle) ve kısa veri yükleme süresi pencereleri olduğunda iyi bir aşama alanı stratejisine sahip olmak daha önemlidir.