Big Data: Cassandra, HBase ve ElasticSearch


Cassandra ve HBase terabytelarca büyük veriyi depolamak için tercih edilirken ElasticSearch logları depolamak için tercih ediliyor.

Cassandra ve HBase arasında hangisini kullanacağınızı tercih ederken şu bilgileri göz önünde bulundurun:

  1. Cassandra yazma işleminde HBase’den daha hızlıyken, HBase okuma işleminde Cassandra’dan daha hızlıdır.
  2. Her ikisi de terabytelarca hatta petabytelarca büyük veriyi ve dosyaları depolamak için kullanılabilir.
  3. Cassandra’da master-node yoktur, always-on web ve mobil projeler için uygundur.
  4. HBase’de master-node vardır ve master-node çökerse tüm sistem çöker.
  5. HBase’in veri analizi araçları ile entegrasyonu iyidir.
  6. Cassandra Spark ile birlikte kullanılırsa okuma işlemi iyileştirilebilir.
  7. Netflix Cassandra ve Spark çözümünü tercih ederken, Twitter tweetleri depolamak için HBase’i tercih etmiştir.
  8. HBase’in performansı Cassandra’dan daha iyi.
  9. Son olarak ElasticSearch-Kibana ile loglama ve arama işlemleri için tercih edilir.

Mutlu kodlamalar 🙂

Reklam

Pardus Üzerine Kubernetes Nasıl Kurulur?


  1. Oracle VirtualBox‘ı bilgisayarınıza yükleyin. (VirtualBox’ı yüklerken bilgisayarınızın işletim sisteminde bazı izinleri vermeniz gerekebilir.)
  2. VirtualBox üzerinde Other Linux (64 bit) kurulumu başlatın. 2 çekirdekli CPU, 6GB RAM, 20 GB disk ayırın. Sanal işletim sistemine Pardus adını verin.
  3. Pardus‘un XFCE sürümünü indirin.
  4. VirtualBox’a kurduğunuz işletim sistemine CD image olarak indirdiğiniz Pardus imageini gösterin.
  5. Kurduğunuz sanal linux’u açtığınızda Pardus setup’ı gelecektir. Pardus Çalışan’ı yükleyin.
  6. Sonra masaüstünden Pardus’u varsayılan ayarlarla kurun. Adınızı Soyadınızı ve şifrenizi tanımlayın.
  7. Pardus hazır! İsterseniz güncellemeleri yükleyebilirsiniz, yüklemenizi öneririm.

Pardus Üzerine Kubernetes Nasıl Kurulur?

  1. Pardus üzerine Docker’ı kurun: sudo apt-get install docker.io
  2. Docker’ın ayarlarını yapın:
    1. sudo mkdir /etc/docker
    2. daemon.json’u ayarlayın:
cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

3. Docker’ı çalıştırın ve ayarlayın:

  • sudo systemctl enable docker
  • sudo systemctl daemon-reload
  • sudo systemctl start docker
  • sudo chmod 666 /var/run/docker.sock

4. Curl’ü kurun: sudo apt-get install curl

5. Kubernetes’i kurun:

6. Kubeadm’in kurulu mu, sürümü nedir kontrol edin: kubeadm version

7. Swap’ı kapatın (bunu bilgisayarı her kapatıp açtığınızda kubectl çalışmasından önce yapmanız gerekir): sudo swapoff -a

8. Kubernetes clusterını kurun:

  • sudo kubeadm init –pod-network-cidr=10.244.0.0/16
  • mkdir -p $HOME/.kube
  • sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  • sudo chown $(id -u):$(id -g) $HOME/.kube/config

9. Kubernetes networkünü kurun: kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

10. pardus node’unu (master’ı) worker gibi kullanıma açın: kubectl taint nodes pardus node-role.kubernetes.io/master-

11. Kurulum tamamlandı, tüm podların çalışıyor durumunda olması lazım, kontrol edin: kubectl get pods –all-namespaces

Eğer podlardan bazıları çalışmıyorsa logları inceleyerek sorunu çözmeniz gerekecek.

Tebrikler, Pardus üzerine Kubernetes kurdunuz. Artık kubectl apply -f ile daha önce hazırladığınız yaml dosyalarıyla docker image’lerini pod olarak Kubernetes networküne kurabilirsiniz. Ayrıca kubeadm join ile cluster’a yeni sunucular dahil edebilirsiniz.

Mutlu kodlamalar 🙂