large-data

5ısı

1cevap

MongoDB server freeze - büyük miktarda koleksiyon

Büyük MongoDB veritabanı (yaklaşık 1,4 milyon koleksiyon), MongoDB 3.0, motor kayalarDB, işletim sistemi Ubuntu 14.04 var. Bu DB, 16 çekirdek ve 108 GB RAM ile sanal makinede (VmWare vCloud) bulunur (

9ısı

1cevap

Python grafiği Matplotlib kullanarak büyük matris

2000 sütun ve 200000 satır içeren bir matrisi çizmeye çalışıyorum. Matris daha fazla satır my_matrix eklendiğinde sütunlar şekilde daha satır olduğunda olarak matshow(my_matrix) show() Ancak, figür

5ısı

2cevap

büyük tablolar için garip yavaş quicksort

Bir dizi sıralama algoritmasını karşılaştırmak için ev ödevimi yapıyorum ve garip bir fenomene rastladım. Şeyler beklendiği gibi oldu: insertionsort 20 inçlik tablo gibi bir şey için kazanma, aksi hal

6ısı

1cevap

Büyük bir Java haritasını verimli bir şekilde nasıl depolarsınız?

Ben bir oyunu zorluyorum ve tüm pozisyonlar ve sonuçlar için veri depolamam gerekiyor. Veriler büyük olasılıkla yüzlerce Gb olacaktır. SQL'i düşündüm, ancak sıkı bir döngüde aramaların performansı aza

0ısı

1cevap

Büyük veri kümesinde rpart paketini kullanma

Yaklaşık 10000 satır ve 10 sütun büyük bir veri kümesine sahibim. Bu veri kümesi üzerinde rpart paketi kullanarak sınıflandırma yapmak istiyorum. Ancak her sütunta birçok (50'den fazla) sınıf var. Yan

0ısı

1cevap

dataframe üzerinde

Benim Sorunu tekrar sıralar sabit sayıda dayalı küçük alt kümelerini nasıl yapılır: için 512000 gözlemler vardır: Ben gözlemler 86016000 satır oluşan bir dataframe var her saat yedi gün Yani 24*7*5120

5ısı

2cevap

Akış ayrıştırması PHP'de 4 GB XML dosyası

Aşağıdakileri yapmaya çalışıyorum ve yardıma ihtiyacım var: Büyük bir XML dosyasını (4 GB) PHP ile ayrıştırmak istiyorum. Basit XML veya DOM kullanamıyorum çünkü tüm dosyayı belleğe yükledikleri için

0ısı

1cevap

Yinelenen verileri iteratörler veya yığınlar olmadan yükleyin

Büyük bir veri dosyası (7GB) öğrenmek istiyorum: 800 satır, 5 milyon sütun. Bu yüzden bu verileri yüklemek ve kullanabileceğim bir forma koymak istiyorum (2D liste veya dizi). sorun burada ben veri yü

2ısı

1cevap

Verilerin büyük bir kısmı, bir sütunda sınırlayıcı karakteri değiştirmeye çalışıyor ancak tüm sınırlayıcı karakterleri değil

Pandalar ile bir veri kümesi (200mb, ~ 3mil satır) analiz etmeye çalışıyorum, ancak bu veri kümesi rasgele kullanıcılar tarafından doldurulmuş bir sütun içerir. tüm karakterlere izin verilir. Bu, sını

1ısı

1cevap

Değişken uzunluktaki listeleri pandalarda HDF5'e kaydetme

Pandalar için oldukça yeni, sorularım önemsiz ise lütfen özür dileriz. Bir pandalar veri çerçevesini, sütun olarak değişken uzunluklu listelerin bir listesini içeren hdf5'e kaydetmek istiyorum. Amacım