enGrehber: Big Data, Machine Learning ve Deep Learning Projesi


Merhaba değerli takipçilerim,

İçişleri Bakanlığı sponsorluğunda devam eden enGrehber projesi için hangi teknolojileri kullanmam gerektiği konusunda nihai kararı verdiğime inanıyorum.

Öncelikle öğrenme güdüsüyle, çözüme en kısa yoldan ulaşma hedefi arasında sağlıklı karar vermek gerekiyor. Öğrenme amacıyla bulaştığımız teknolojiler böylesine bir projeyi bitmek bilmez ve yıldırıcı bir engele dönüştürme ihtimali vardır.

  1. Big Data, Machine Learning ve Deep Learning projelerinde Python tercih edilir. Ben de o yüzden Backend katmanını tamamen Python’la hazırlamaya karar verdim. Daha önce .NET Core ile hazırladığım backendi Python’a dönüştüreceğim. Böylece on-premise yapay zeka çözümü geliştirmek mümkün olacak. IoT projelerinde de big data söz konusudur. Milyonlarca küçük cihazdan akan verilerin depolanması ve bunlar üzerinde yapılan madencilik ve analiz çalışmalarında Python’un güçlü olduğunu ve yaygın olarak kullanıldığını biliyoruz.
  2. Big Data projelerinde HBase, Cassandra ve MongoDB veritabanları tercih edilir. HBase’de yüksek performanslı sorgulama yapmak isterseniz yabancı olduğum değişik bir protokol kullanmanız gerekiyor. MongoDB ise çok büyük projeler için uygun değil çünkü hem yüksek transaction desteklemiyor hem de satır başına veri büyüklüğü en fazla 16 MB olduğu için veritabanında resim ve video depolamanız neredeyse olanaksız. Ama Cassandra hem SQL’e çok benzeyen CQL sayesinde kolayca kullanılabilir hem de küçük dosyaları Cassandra’da depolayabiliyoruz.
  3. BlockChain projelerinde NodeJS ve Solidity kullanılmaktadır. Ethereum blockchain PoW, PoS ve PoA algoritmalarının tümünü desteklemektedir. Biz yüksek performans için PoA tercih edeceğiz. HyperLedger Besu, Truffle, NodeJS ve Solidity ile DApp uygulamamızı hazırlayabiliyoruz.
  4. Hybrid mi Native mi? Kesinlikle Native ama bir sorun var. Tasarım yapamıyorum ve React Native’in gerçekten çok inatçı bugları var. O yüzden React/Ionic‘teki mevcut tasarımla devam edersem hem web hem de mobilin ikisini birden çıkarmak bana acayip zaman kazandırıyor. Tek çalışma yapıyorum web ve mobil hazır oluyor. Dezavantajı nedir peki? Ionic projeleri telefonlarda biraz yavaş çalışıyor, aslında proje büyük olursa bu yavaşlığı belirgin derecede hissedebiliyorsunuz. Ancak Facebook ve Twitter dahi hybrid uygulamayla piyasada bulunuyor. Native’e geçmeyi gelecekte tekrar düşüneceğiz, öncelikli hedefim toplamdaki çalışmayı hızlandırmak.

    Burada bir sorunumuz daha var: Her ne kadar Twitter ve Facebook uygulamaları hybrid te olsa Jitsi toplantı uygulaması mobilde React Native ile yapılmış. Video ve animasyon içeren uygulamaların native olması önemli bir performans getirisi sağlıyor. Ancak daha önceki testlerimde hybrid mobil uygulamaların 4 adet canlı videoyu aynı anda görüntüleyebildiğini tespit ettim, ısınma sorunları oluyor ama Ionic ile canlı toplantıyı başarabiliriz.

    Buradaki bir diğer sorun Ionic ile toplantı yapılırken arama geldiğinde veya görüşme arka plana alındığında problemler oluşuyor olması. Ancak bu problemler React Native’de de var.

    Ionic ile ilgili bir diğer problem: bildirimler. Web push bildirimleri iOS’ta çalışmıyor ve Firebase kütüphaneleri gerçekten sıkıntılı, sanırım bu konuyu profesyonel bir firmadan bildirim hizmeti alarak çözeceğiz.

    Ayrıca Ionic’te güvenlik te önemli bir sorun, bu konuda öncelikle şuraya bakılması gerekiyor: https://cordova.apache.org/docs/en/4.0.0/guide/appdev/security/index.html
  5. Dosya Storage’ı için BlockChain tabanlı IPFS‘e bakacağım. IPFS en iyi GoLang’le çalışıyor ama NodeJS de destekliyor.
  6. Mimari nasıl olmalı? Kesinlikle mikro servis mimarisi olmalı. Çünkü mikro servis mimarisi yüksek yük kaldırabiliyor. Sanallaştırma için Kubernetes ve Docker tercih ediyorum. Yerelde Minikube ile çalışma yapmak mümkün. Ayrıca kod mimarisi için NX kullanacağım, buna kesin karar verdim. NX’in Python’la sıkıntısı var, ama bunu aşmayı başardım.

Stratejimiz Ne?

Neden bu teknolojileri tercih ettik?

Bu tercihlerimle projemizi ister yurtdışı bulutunda, istersem Ethereum MainNet’inde istersem de yurtiçi bulutunda deploy edebiliyorum. Ki nihayi hedefimiz yurtiçi bulutuna taşınmak olduğu için tercihlerimi böyle yaptım.

Media Server kullanacak mıyız?

Güvenlik için media server çok gerekli. Fakat muazzam bir bant-genişliği maliyetine neden oluyor. O yüzden başlangıçta Media Server kullanmayacağız. Böylece bu projeyi TV reklamlarında görseniz dahi gelen trafiği kolay müdahelelerle kaldırabilecek şekilde tasarlayacağım.

gRPC kullanmayacağız, Rest ve WebSockets kullanacağız, ama neden?

Anlık mesajlaşma bölümünde ve Mikro servis mimarisinde iletişim için gRPC kullanmayacağız Rest ve WebSockets kullanacağız. gRPC yerine WebSocket’i tercih ediyorum çünkü gRPC realtime değil.

ÖZET:

enGrehber’in yeni sürümünde kullanacağımız teknolojiler özetle şöyle:

  1. Python
  2. React/Ionic
  3. NodeJS ve Solidity
  4. Cassandra

Mutlu kodlamalar 🙂

Reklam

Nitelikli Bilişim Uzmanı Yetiştirme Eğitimleri


Merhaba değerli takipçilerim;

Bildiğiniz üzere ben eskiden İş-Kur Nitelikli Bilişim Uzmanı Eğitimcisiydim. Ancak o sektörü bıraktım, şu an yazılımcıyım.

Fakat geçen zamanda yazılım dünyası öyle hızlı gelişti ki, bizler all-in-one developerlar olmaya zorlandık. Ancak bu akşam bunun pek te mümkün olmadığını anladım.

Genç öğrencilere tavsiyelerde bulunacağım. Bilişimde ya tasarımcısınızdır, ya donanımcısınızdır, ya yazılımcısınızdır, ya içerikçisinizdir ya da yöneticisinizdir.

Hemen yöneticiliğe kalkışmayın, yöneticilik olgunluk ve saygınlık ister, ileri yaşlarda tercih edilmesi daha doğru olur.

Tasarım ve İçerik alanlarıyla pek ilgilenmiyorum. Tasarımda Photoshop gibi Adobe yazılımları daha çok tercih edilirken, içerikte Metin Yazarlığı, Sosyal Medya Yönetimi gibi alanlar var.

Donanımla da pek ilgilenmiyorum. Burada Sistem, Ağ ve Siber Güvenlik alanları var. Ayrıca Devops Mühendisleri ile de yakınlığı var. Bir de SEO alanı var, bu da Satış ve Pazarlama ile ilgili bir alan, İçerik alanını da ilgilendiriyor çünkü Google içeriğe de bakıyor.

Eğer Proje Yöneticisiyseniz PMP ve Agile Scrum bilmeniz gerekir.

Benim asıl ilgilendiğim kısım YAZILIM. İş-Kur eğitimlerinde Yazılım eğitimi all-in-one bir eğitimdi. Hala da öyle. Ancak sonradan o kadar çok teknoloji gelişti ki bu yazılım alanının birden fazla mesleğe ve eğitime ayrıştırılması zorunluluk hale geldi.

Ne Gibi?

Öncelikle Yazılım Mimarı diye bir meslek var. Ne yapar? Büyük bir projeyi ayrıntılarıyla teknik olarak tasarlar. Bu proje hangi teknolojilerle yapılmalıdır, hangi mimarisel tasarım kalıpları kullanılmalıdır bunlara karar verir.

Yazılımla İlgili Meslekler ve Eğitimleri:

  1. Proje Yöneticisi/Scrum Master:
    Proje planlama ve yönetimini bilir, metodolojilerini bilir, projeyi Agile Scrum gibi metodolojilerle yürütür ve zamanında teslim eder.
  2. Yazılım Mimarı:
    Büyük projelerin teknolojilerini ve teknik bileşenlerini entegrasyonlarıyla birlikte planlar ve tasarlar. Mimarisel Tasarım Kalıplarına hakimdir.
  3. Ağ ve Siber Güvenlik Uzmanı:
    Bir firmanın tüm networkü istemci ve sunucu bilgisayarlarını kurabilir, bakım ve tamirini yapabilir, network kurulumunu, kablolu ve kablosuz ağ kurumlarını, yazıcıları, telefonları, switch’leri ve diğer gerekli tüm donanımları kurup ayarlayabilir ve tüm sistemin siber saldırılara, yapay zeka saldırılarına karşı güvenliğini ve yedeklemesini sağlar. En azından Azure bilir.
  4. Devops Uzmanı:
    Yazılım ekibinin çalışma ortamını hazırlar ve bakımını yapar, CI/CD altyapısını kurar, sanallaştırma teknolojilerine çok hakimdir, Docker, Kubernetes ve OpenShift bilir, bunların bakım ve güvenliğinden sorumludur. Production’daki sanallaştırma ve güncellemeleri yönetir.
  5. Frontend Geliştirici:
    HTML, CSS, JavaScript, Bootstrap, jQuery, TypeScript, Angular, React, Vue teknolojilerini bilir, ayrıca erişilebilirlik standartlarından anlar, tasarımı parçalayıp frontend uygulamanın bileşenlerine çevirir. WebRTC, WebXR, WebSocket, Rest, gRPC gibi teknolojilerin frontend taraflarını bilir.
  6. Backend Geliştirici:
    Java Spring uzmanıdır. Veritabanı olarak MongoDB, Cassandra gibi Big Data veritabanları tercih edilir. Design Patternleri, Unit Test’i bilir ve IoT bilir.
  7. Full Stack Geliştirici:
    MongoDB, Express, NodeJS, React uzmanıdır. Mobil de eklenecekse React Native öğretilir.
  8. Mobil Uygulama Geliştiricisi:
    Hybrid ve Native uygulama konseptlerini bilir, React Native (TypeScript) uzmanıdır, Flutter da öğretilebilir. React Native expo ile birlikte kullanıldığında Mac gerektirmeden doğrudan iPhone’da test edilebilir.
  9. Yapay Zeka Geliştiricisi:
    Python FastAPI ile yapay zeka, makine öğrenmesi, derin öğrenme alanlarında uzmandır. NLP ve Tensorflow da bilir. Robotlar ve Yapay Zeka çipleri ve donanımlarıyla da çalışabilir.
  10. BlockChain Geliştiricisi:
    Decentralized ID’ler, Decentralized Uygulamalar, DeFi ve NFT hakkında uzmandır. NodeJS, Truffle, HyperLedger Fabric, HyperLedger Besu ve Solidity bilir.
  11. Oyun Geliştiricisi:
    Unreal Engine, AR/VR ve Metaverse uzmanıdır. Swift ve Java/Kotlin ile native mobil oyun yazabilir.
  12. Veri Bilimi ve İş Zekası Uzmanı:
    Veri bilimi denildiğinde akla Python gelir. Python ve ilgili kütüphaneleri ile Big Data (MongoDB) ve SQL Server gibi veritabanlarında veri analizi ve iş zekası (Power BI) çalışmalarında uzmandır.
  13. Yazılım Test Uzmanı:
    End2End test otomasyonu yazabilir. Selenium bilir, BrowserStack bilir, test senaryolarını yazar, test datası vardır, mobil uygulama testlerinin nasıl yapıldığını bilir.
  14. ERP Uzmanı:
    Microsoft, Logo, SAP’nin ERP yazılımlarını bilir; ve bunlar için yazılım geliştirebilir.

Sanırım bu kadar. C# neden yok? C# yapay zeka, veri bilimi ve blockchain’de henüz başarılı olamadı. Java, Python ve NodeJS daha popüler. Gençlerin buna ayak uydurması lazım. Ancak C#’tan vazgeçmeyeceksek onu nasıl konumlandırabiliriz? Backend Geliştirici (C#) diye bir eğitim olabilir.

Git, GitHub ve Firebase gibi teknolojileri tüm yazılımcıların bilmesi gerekir. Yani en azından frontendin Firebase’de bedava host edilebileceği ve Firebase’in ücretsiz mesajlaşma servisi anlatılmalıdır.

Mutlu kodlamalar 🙂

Parolasız BlockChain Üyelik Standardı için Tavsiyeler


Merhaba değerli takipçilerim,

enGrehber projesine Trinsic parolasız üyelik sistemini dahil etmeye çalışırken şunu farkettim: Kişisel verilerimi Trinsic platformuna gönderiyor olmam blockchain üyelik sistemindeki ana fikri zedeliyor.

BlockChain üyelik standardı neden çıktı?

  1. Trust Is Broken. En önemli gerekçe bu. Kişisel verileri hackerlardan, yapay zekalardan koruyamıyoruz. Parolalı sistemler hacklenebiliyor, veritabanlarına sızılabiliyor.
  2. Çözüm olarak kişisel verileri dağıtık bir şekilde telefonlarda tutalım denilmiş. Fakat telefonlar da güvenli değil. Telefon hacklemek çok kolay. O yüzden datayı telefonlarda şifreleyerek tutmak gerekiyor.
  3. Kişisel verileri bulutta ya da kendi veritabanımızda merkezi olarak tutmak güvenli değil. Ancak tutmanız gerekirse yine şifreleyerek tutmanızı öneririm.

Ana fikri anladınız mı?

  1. Kişisel veriyi veritabanımda tutmadığım taktirde sistemim hacklense bile sistemimde çalınacak kişisel veri olmayacak.
  2. Herkesin kişisel verisi kendi telefonunda şifrelenerek saklanacak.
  3. Böylece hackerların 1 milyon kişisel veri elde etmek için 1 milyon telefon hacklemeleri gerekecek, pratikte bu bir insan için çok zor bir görev. Sadece yapay zeka ile yapılabilir ama siz kişisel verileri telefonda şifrelerseniz ellerine sadece şifrelenmiş veri geçecektir.

Trinsic ile ilgili problem ne?

Trinsic kişisel verileri bulutta da depoluyor. Eğer Trinsic hacklenirse tüm kişisel veriler çalınmış oluyor. O yüzden blockchain üyelik sisteminde merkezi olan bulut cüzdanlarını sevmiyor ve istemiyoruz. Decentralized olarak herkes kendi datasını kendi telefonunda saklarsa hackleme işi çok zorlaşıyor ve hacklerın yapay zeka kullanmaktan başka çaresi kalmıyor.

Yapay zeka ile hackleme ise telefondaki datayı şifreleyerek daha da zorlaştırılabilir. Böylece 1 milyon telefon yapay zeka ile hacklense bile ellerine sadece şifrelenmiş veri geçecektir. Üstelik veriler farklı farklı cüzdanlarda depolanabiliyor olacak. Yani hacklenecek cihaz ve uygulama kombinasyonu çok fazla oluyor.

Hackerların işini ne kadar zorlaştırdığımızı anladınız mı?

Mutlu kodlamalar 🙂

Parolasız BlockChain Üyelik Sistemi


Merhaba takipçilerim,

Trinsic ile connectionless VC kullanarak parolasız üyelik geliştirebilirsiniz. Ben bu akşam NodeJS Express örnek uygulamayı kullanarak enGrehber projesi için parolasız üyelik sistemini test ettim.

Trinsic’in ücretsiz sürümünde ayda 50 credential takasına ücretsiz izin veriyor. O yüzden Trinsic kullanacaksanız maliyetleri düşürmek için eski parolalı üyelik sistemi ile yeni parolasız üyelik sisteminin ikisini birden kullanıcılara sağlamanızı tavsiye ederim.

Ayrıca görme engelliler henüz bu tür QR kodu taratarak oturum açma işlevine hazırlıklı değiller. Engrehber projesinde ilk defa görme engelliler için bu QR kodlu üyelik sistemini test etmiş olacağız.

BlockChain üyelik sistemlerinde blockchain networkü kurmak için genellikle HyperLedger Indy yazılımı tercih edilir. HyperLedger Indy’yi birden fazla sunucuya yükleyerek bir blockchain ağı kurarsınız ve bu blockchain üzerinde Credential şablonlarını saklarsınız.

Bir web sitesi ve bir adet üyelik sistemi geliştirmek için birden fazla sunucu üzerine Indy networkü kurmayı istemeyiz, bunun yerine profesyonel Indy networkleri ile çalışmayı tercih ederiz. Ben Indicio networkünü tercih ediyorum. Indicio test, demo ve production network hizmetleri sağlıyor. Trinsic Indicio test networkünü desteklemektedir.

Production sistemlerinde hem Trinsic için ödeme yapmalısınız hem de Indicio için ödeme yapmalısınız. Biz bu makalede ücretsiz olan Indicio test networkünü kullanacağız ve Trinsic’in ücretsiz sürümünü kullanacağız.

  1. Öncelikle Trinsic Studio‘da bir hesap açın.
  2. Daha sonra Trinsic Studio’da bir organizasyon oluşturun. Organizasyon oluştururken Indicio Test Network’ünü seçin.
  3. Bundan sonra Credential Template oluşturacağız. Yani üye olma formumuzdaki alanları tanımlayacağız. Ben iki alan tanımladım Full Name ve Email.
  4. Son olarak Verification Template oluşturacağız. Ve bunu oluştururken Credential Template’imizin adını ve alanlarını gireceğiz, yani Full Name ve Email.

Şimdi zor kısmı başlıyor:

https://github.com/trinsic-id/verifier-reference-app adresinde örnek bir uygulama var. Ama uygulamanın modifiye edilmesi gerekiyor. Bu uygulama sanal Pasaport uygulaması. Ben bu uygulamayı alanları değiştirerek üye olma ve oturum açma uygulamasına dönüştürdüm.

Sonuçta şöyle bir ekran görüntüsü elde ettim:

Modifiye edilmiş Verifier Reference App ekran görüntüsü

Sol taraftaki bloktan üye olabiliyorsunuz, üye olmak için alanları dolduruyorsunuz ve Issue Member butonuna tıkladığınızda girmiş olduğunuz üyelik formu Trinsic Studio’ya ve mobil Trinsic cüzdanına transfer ediliyor.

Cüzdanınızda girmiş olduğunuz Full Name ve Email bilgilerini görebiliyorsunuz.

Daha sonra login olmak istediğinizde Verify Member butonuna tıklıyor ve açılan QR Kod’u tarıyorsunuz ve cüzdanınızdaki üyelik bilgilerinizi web sitesiyle paylaşıyorsunuz.

DİKKAT:

  1. Üye olurken üyelik bilgilerini hiçbir şekilde veritabanıma kaydetmiyorum. Hacker’lara karşı güvendeyim. Üyelik bilgilerini Trinsic’e gönderiyorum.
  2. Oturum açıldığında üyelik bilgilerini Session’a kaydedebilirim ve oturum kapandığında session bir süre sonra otomatik silinir. Yani üyelik bilgilerini veritabanıma kaydetmek zorunda değilim.
  3. Dolayısıyla kişisel verileri kalıcı olarak depolamak zorunda değilim.
  4. Üye olma formunda kullanıcıya Parola ve Parola Doğrula gibi alanlar getirmiyorum, çünkü BlockChain üyelik sistemi Parolasız Üyelik Sistemi’dir.
  5. Bu sistem her türlü dijital kanıtlanabilir belge için kullanılabilir. Mesela sanal pasaport, sanal diploma, sanal kimlik kartı gibi.
  6. Üye olma formundaki e-posta ve telefon numarası gibi alanları doğrulama işlemi halen ayrıca yapılması gerekmektedir (biz burda yapmadık).

Sorularınız için yorum yazabilirsiniz.

Mutlu kodlamalar 🙂