Talha Turan'ın kişisel web sitesi – Veri Mühendisliği, Bulut Bilişim, Yazılım Geliştirme, İpuçları
Yatırım fonlarında yer alan hisselerin fon içerisindeki dağılımına ait bilgiyi hazır olarak bulmak güç. Fon yönetici şirketler belli periyotlarda KAP‘a fon dağılım raporlarını yayınamakta fakat bu raporları PDF formatında paylaştıkları için fonun hangi hisse senetlerine yatırım yaptığı bilgisini dinamik olarak alması pek mümkün olmuyor. Bu bilgiyi veren firma, aracı kurum ya da web siteleri bulunmaktadır.… Yazının devamı Python ile hisse senetlerinin yatırım fonlardaki dağılımını bulma
Azure Automation servisi ile otomatik olarak çalışacak işlemleri PowerShell ya da Python runbook’ları üzerinde yazacağınız kodlarla çalıştırabilirsiniz. Eğer runbook tipi Python ise, kodlarınız içinde kullancağınız harici paket ya da kütüphaneleri ayrı bir işlem olarak eklemeniz gerekir. Bu yazıda bir Python runbook için paket ekleme işleminin nasıl yapıldığını kısaca inceleyelim. Azure Automation servisi oluşturma Azure automation… Yazının devamı Azure Automation Python runbook’larına harici Python paketlerini ekleme
Python kullanarak bir SQL Server’daki (bu örnekte Azure SQL veritabanı) bir tabloda yer alan veriyi, Parquet formatında AWS S3 bucket’ına aktarmak için gerekli kodu kısaca inceleyelim. Ön gereksinimler Azure SQL veritabanından veriyi çekme Örnek olarak aşağıdaki desende, tablo_1 adında ve içinde deneme için iki satırlık veri olan bir tablomuz olduğunu düşünelim. Kodu çalıştırdığımızda aşağıdaki gibi… Yazının devamı Python ile SQL Server’dan S3 Bucket’a veri aktarımı
Azure ortamında test, workshop vb. eğitim ortamları hazırlıyorsanız test kullanıcıları oluşturmak ve bunları otomatik hale getirip manuel iş yükünden kurtulmak istemiş olabilirsiniz. Bu yazıda, Azure Active Directory üzerinde belli periyotlarda ve belli sayıda kullanıcı ve bunlara ait birer kaynak grubu oluşturma ve her kullanıcıyı kendi kaynak grubu üzerinde yetkilendirerek çalışma alanlarını ayırma işleminden bahsedelim. Ön… Yazının devamı Azure Automation – PowerShell ile Azure AD üzerinde otomatik kullanıcı ve kaynak grubu oluşturma
Microsoft SQL Server’dan AWS S3 bucket üzerindeki bir klasöre veri aktarımı için öncelikle NiFi arayüzünden Controller Settings bölümünden SQL Server JDBC sürücüsünün eklenmesi gerekir. Controller Settings Controller Services sekmesine geçilir ve yeni bir kayıt eklemek için artı simgesine tıklanır. Açılan Add Controller Service penceresinde arama kutusundan aratılarak DBCPConnectionPool seçilir ve Add butonuna tıklanır. Kayıt eklendikten… Yazının devamı Apache NiFi ile SQL Server’dan AWS S3’e Veri Aktarımı
SQL Server ile veritabanında bulunan bir tabloda yer alan karakter dizisi (string, varchar) şeklindeki bir sütunun içeriğini parçalara bölüm ayrı kolon olarak yazabiliriz. Bunun için T-SQL’de yer alan PATINDEX fonksiyonunu ve basit birkaç SQL ifadesi kullanmamız yeterli oluyor. PATINDEX için Microsoft dokümantasyonunu inceleyebilirsiniz: https://learn.microsoft.com/en-us/sql/t-sql/functions/patindex-transact-sql?view=sql-server-ver16 Farklı uygulamalarda Regular Expressions ile bu şekilde işlemler yapılabiliyor tabii ki.… Yazının devamı T-SQL’de ile kolon içeriğini ayrı kolonlar haline yazma
Azure Key Vault Uygulama geliştirirken kullandığımız ortam erişim bilgileri, sistemlere ait konfigürasyon bilgileri, üçüncü parti veri kaynaklarından veri çekmek için kullanılan API anahtarları gibi, hassas bilgileri saklamak için güvenli bir altyapı sağlayan bir Azure servisidir. Bu bilgiler Key Vault üzerinde şifrelenebilir ve rol bazlı yekilendirme ile bu bilgilere erişmesi gereken kullanıcılara ya da uygulamalara farklı… Yazının devamı Azure Key Vault nedir? Nasıl kullanılır?
Azure Functions, uygulama geliştirmeyi hızlandırmak ve kolaylaştırmak amacıyla küçük kod parçalarının çalıştırılmasını sağlayan, Function as a Service (FaaS) olarak adlandırılan ve serverless mimaride çalışan bir Azure hizmetidir. Azure Function servisinin ve örnek bir fonksiyonun oluşturulması ve bu kodun Azure Data Factory akışı üzerinden tetiklenmesi nasıl oluyor, kısaca bahsetmeye çalışalım. Öncelikle bu örneğin yapılacağı ortamda aşağıdaki… Yazının devamı Azure Function’da Python kodu çalıştırma ve Data Factory üzerinden çağırma
Azure Analysis Services ile verileri model üzerine aktarırken, değişen veri hacmine bağlı olarak servisin kapasitesi yeterli gelmeyebilir ya da belli zamanlarda kapasite yükseltilip sonrasında eski haline getirmek istenebilir. Azure AAS, her biri farklı fiyat seçenekleri olan katmanları bulunmaktadır: Geliştirici, temel ve standart. Başlangıçta bunlardan biri seçilerek işe başlanır ve sonrasında yükseltme (scale-up) ya da küçültme… Yazının devamı Azure Data Factory ile Analysis Services ölçeklendirme
Kullanıcının bir web sayfası üzerinden yapılan istekle Logic App akışını tetiklediği ve bu akışın da Azure üzerindeki sanal makineleri başlattığı örnek bir senaryo düşünelim. Logic App Azure Portal üzerinden arama kutusuna Logic App yazarak servis oluşturma sayfasında gerekli bilgiler girilir. Diğer seçenekleri olduğu gibi bırakıp Review + create ve sonrasında Create’i seçerek servis oluşturulur. Logic App servisine tıklayıp… Yazının devamı Logic App ile Azure sanal makinelerini başlatma