Dlib (Python) Kütüphanesinin Ubuntu'ya Kurulumu

Dlib (Python) Kütüphanesinin (CUDA-cuDNN ile) Ubuntu'ya Kurulumu

Dlib yapay öğrenme - makine öğrenmesi (machine learning) algoritmalarını içeren C++ kütüphanesidir ve günlük hayatımızda karşılaştığımız problemleri çözmek için kullanabileceğimiz kompleks yazılımlar geliştirebileceğimiz bir araçtır. Yüz tanıma (face recognition), yüz tespiti (face detection), yüz modelleme (facial landmarks) gibi uygulamaları Dlib kütüphanesi ile kolayca geliştirebilirsiniz. Dlib C++ programlama dili ile kullanılan bir araç olmasının yanında Python programlama dili ile de kullanılabilmektedir. Python ile kullanmak için kurulumunuzu ona göre yapmanız gerekmektedir. Bu yazımda Python dili için kurulum yapılacaktır. Dlib kütüphanesinin C++ programlama dili için Windows'a kurulumu ve Ubuntu'ya kurulumu yazılarımı takip edebilirsiniz. Ayrıca bu kurulum da cuDNN konfigurasyonu da yer alacaktır böylece DLib kütüphanesi kullanarak geliştirdiğiniz algoritmalarınızı GPU üzerinde çalıştırabileceksiniz. Aşağıdaki adımları takip ederek Ubuntu 16.04 işletim sisteminize Python programlama dili için Dlib kurulumunu yapabilir ve uygulama geliştirebilirsiniz. Burada 2 farklı kurulum yapacağız. Siz uygun olanını seçerek istediğiniz yöntem ile kurulumu gerçekleştirebilirsiniz.

Kurulumu CUDA-cuDNN ile yapmak için bilgisayarınıza önceden CUDA-cuDNN kurulumu yapılmış olması gerekmektedir. Önceki yazılarımı takip ederek bilgisayarınıza CUDA-cuDNN kurabilirsiniz.

Ubuntu 16.04 için cuDNN Kurulumu
Ubuntu 16.04 için CUDA Kurulumu

Ayrıca kurulumu Python Sanal ortamına virtualenvwrapper kullanarak yapacağız. Neden sanal ortama ihtiyaç duyduğumuzu ve sanal ortam (virtualenv-virtualenvwrapper) kurulumu için ilgili yazıma bakabilirsiniz. Python Sanal Ortam (virtualenv-virtualenvwrapper) Kurulumu

1. pip Komutu ile Kurulum

Adım 1.1.
PyPI sitesinden dlib kütüphanesi için hangi Python kütüphaneleri ile uyumlu olduğunu kontrol ettikten sonra yeni bir terminal açıp aşağıdaki komutu çalıştırarak yeni bir Python3 sanal ortamı oluşturuyoruz.

mkvirtualenv dlib_1 -p python3

Burada sanal ortamınıza istediğiniz ismi verebilirsiniz, ben dlib_1 ismini kullandım. Oluşturduğunuz sanal ortamdan deactivate komutuyla çıkabilir ve workon komutuyla tekrar oluşturduğunuz sanal ortama giriş yapabilirsiniz.

Adım 1.2.
Dlib için oluşturduğumuz yeni ortam içerisindeyken aşağıdaki komut çalıştırılarak Python programlama dili için Dlib kurulumu gerçekleştirilir.

pip install dlib

Adım 1.3.
Son aşamada kurulumun başarılı olup olmadığının test edilmesi var. Sanal ortamınıza kurulan paketleri lssitepackages komutunu çalıştırarak görebilirsiniz. Bu komutu çalıştırdığımızda dlib kütüphanesinin kurulu olduğunu görüyoruz. Ancak emin olmak için Python ortamına geçiş yapıp dlib kütüphanesini koda eklemek (import etmek) gerekiyor. Eğer hata almıyorsak kurulum başarılıdır. Ayrıca aşağıdaki komutu çalıştırarak hangi dlib versiyonunu kullandığınızı öğrenebilirsiniz.

1 2	import dlib dlib.__version__

2. Kaynak Kodlarından cmake ile Kurulum

Adım 2.1
Kurulum için cmake'den faydalanacağız. Eğer cmake kurulu değilse aşağıdaki kodu çalıştırarak cmake'in kurulumunu gerçekleştirebilirsiniz.

sudo apt-get -y install cmake

Adım 2.2.
Dlib kütüphanesinin en son yayınlanan versiyonu sitesinden indirilir (Bu yazıda 19.16 versiyonu indirildi). Dlib, hızlı gelişim gösteren bir kütüphane olduğunda sürekli yeni versiyonları çıkmaktadır.

Adım 2.3.
İndirilen sıkıştırılmış dosya (dlib-19.16.zip) çıkarılır.

Adım 2.4.
İlk yöntemde olduğu gibi yine kurulumu Python sanal ortama yapacağız. Adım 1.1'e bakabilirsiniz. Aşağıdaki komutu çalıştırarak yeni sanal ortam oluşturuyoruz.

mkvirtualenv dlib_2 -p python3

Adım 2.5.
BLAS kütüphanesini yüklerseniz kodunuz daha hızlı çalışır. Aşağıdaki kod parçasını çalıştırarark sisteminize BLAS kütüphanesini kurabilirsiniz.

sudo apt-get install libopenblas-dev liblapack-dev

Adım 2.6.
Sanal ortam içerisindeyken indirmiş olduğumuz dlib klasörüne (dlib-19.16) geçiş yapılır ve aşağıdaki komut çalıştırılır.

python setup.py install

Adım 2.7.
Bu komutu çalıştırdıktan sonra konfigürasyon işlemi başlayacaktır. Konfigurasyon işlemi sırasında Dlib kütüphanesi ile kullanılabilecek diğer araçların bilgisayarınızda kurulu olup olmadığına bakılır ve sonunda size bunlar hakkında bilgiler verir. Bu kısım aslında çok detaylı bilgiler içermektedir ve hepsini tek tek açıklamak mümkün değildir. Şu an konfigurasyona dahil edilmeyen ancak ileride Dlib kütüphanesinin bir modülünü kullanmak istediğinizde bir takım eksik araçlardan kaynaklanan hatalar aldıkça hangi araçlara nerede ne zaman ihtiyaç duyacağınızı daha iyi anlayacaksınız. pip ile kurulum yaptığımızda kurulumun detaylarına hakim değildik. Ancak bu yöntem ile kurulumun hangi araçları kullanarak yaptığı hakkında detaylı bilgiler elimizde mevcut. Aşağıdaki ekran görüntülerini inceleyebilirsiniz. Burada Dlib kütüphanesini CUDA ile kullanabileceğimiz de belirtilmiştir. Öncesinde işletim sistemimize CUDA kurulumu gerçekleştirdiğimiz için konfigürasyon sırasında ihtiyaç duyulan CUDA dosyaları bulundu ve kurulum ona göre gerçekleştirildi. Kurulum hakkında detaylı bilgi içerdiği için ben bu yöntemi tercih ediyorum.

Adım 2.8.
Son aşamada Adım 1.3'de yaptığımız gibi kurulumun başarılı olup olmadığının test edilmesi var. Sanal ortamınıza kurulan paketleri lssitepackages komutunu çalıştırarak görebilirsiniz. Bu komutu çalıştırdığımızda dlib kütüphanesinin kurulu olduğunu görüyoruz. Ancak emin olmak için Python ortamına geçiş yapıp dlib kütüphanesini koda eklemek (import etmek) gerekiyor. Eğer hata almıyorsak kurulum başarılıdır. Ayrıca aşağıdaki komutu çalıştırarak hangi dlib versiyonunu kullandığınızı öğrenebilirsiniz.

1 2	import dlib dlib.__version__

Python programlama dili için Dlib kütüphanesinin CUDA ile kurulumunu Ubuntu 16.04 işletim sistemine 2 farklı yöntemle gerçekleştirmiş olduk.

Türkiye'de Intel Movidius Neural Compute Stick (NCS) Nereden, Nasıl Alınır ?

Türkiye'de Intel Movidius Neural Compute Stick (NCS) Nereden, Nasıl Alınır ?

Movidius Neural Compute Stick (NCS), Intel'in derin öğrenme için geliştirdiği küçük (usb boyutunda), fansız cihazıdır. Düşük güçlü yüksek performanslı Intel Movidius Vision Processing Unit (VPU) işlemcisi tarafından desteklenen ve milyonlarca akıllı güvenlik kamerası, işaret kontrollü dronlar, endüstriyel makine görme ekipmanı ve daha fazlasında kullanılabilen bir cihazdır. Daha detaylı bilgiye M. Ayyüce Kızrak'ın Intel-Movidius “Neural Compute Stick” Nedir ve Nasıl Kullanılır yazısından ulaşabilirsiniz. Raspberry Pi 3 ile kullanımını Yavuz Kömeçoğlu'nun Raspberry Pi 3 üzerinde Intel Movidius Neural Compute Stick ile Derin Öğrenme Uygulamaları Çalıştırma yazısından öğrenebilirsiniz. Bu yazının amacı bu cihazı nasıl satın alabileceğiniz hakkında.
Maalesef bu güzel ve kullanışlı cihazı Türkiye'de direk alabileceğiniz herhangi bir satıcı bulunmuyor. Bu cihaza ulaşmanın tek yolu yurt dışından getirtmek olarak gözüküyor ve bende öyle yaptım.

Adım 1. Intel NCS için hazırlanan web sayfasını açıyoruz.

Adım 2. WHERE TO BUY yazan butona tıklıyoruz. Karşımıza 6 farklı seçenek çıkıyor. JD, AKIZUKI DENSHI, SWITCH SCIENCE adlı firmaların sayfaları anlamadığım bir dilde olduğu için bu 3 seçeneği eledim. RS Component'de diğerlerine göre biraz pahalıydı ve ürün fiyatına ek olarak vergi ücreti alıyorlardı. Hızlı bir şekilde elime ulaşması için Mouser Firmasını seçtim ve 80$ karşılığında ürünü aldım. Buraya kadar herşey güzel ve bu yazıyı yazmaya ne gerek vardı diyebilirsiniz. Ancak ürün Gümrüğe takıldı ve ürünü almayı düşünenlerin bu aşamalardan haberdar olması gerektiğini düşündüm.

Adım 3. Mouser Firması Almanya'da olmasına rağmen ürün UPS kargo şirketi ile önce ABD'den Almanya'ya daha sonra Türkiye'ye geldi ve telefonuma bir mesaj geldi. Ürünün Türkiye'ye ulaştığı ancak Gümrük işlemlerine tabi tutulacağı yazıyordu ve ilgili linkte ürünü gümrükten alabilmem için 3 farklı seçenek sundular. Bu 3 seçeneği ve detaylarını aşağıdaki ekran görüntüsünde bulabilirsiniz.

Ben UPS Türkiye ile Çekilmesi seçeneğini seçtim. Bu seçenekte ürünün faturada belirtilen fiyatına göre hesaplanan vergi ücretini ödüyorsunuz ve bunun dışında ek bir ücret ödemiyorsunuz. 80 TL belirtilen hesaba EFT yaptım ve gümrük işlemleri tamamlanan ürünüm elime ulaştı. Ürün 80$ + 80 TL ücret ile elime ulaştı. Ürünü 27 Temmuz 2018 tarihinde sipariş verdim. 30 Temmuz'da Türkiyeye ulaştı ve Gümrük işlemlerini başlatmak için 31 Temmuz tarihinde UPS Türkiye Kargo şirketine yetki belgesi verdim. Araya haftasonu girmesi sebebiyle 6 Agustos tarihinde yani sipariş verdikten yaklaşık 10 gün sonra elime ulaştı. Umarım NCS almak isteyenler için yol gösterici bir yazı olmuştur.

cuDNN Ubuntu 16.04 Kurulumu

cuDNN Ubuntu 16.04 Kurulumu

cuDNN, Derin Öğrenme algoritmalarını GPU-ekran kartı üzerinde çalıştırmak için gerekli bir kütüphanedir. cuDNN kurulumu için NVIDIA'nın hazırlamış olduğu aşağıdaki linkte yer alan dökümanı takip ettim.

https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html

cuDNN kurulumuna başlamadan önce sisteminizde

1. NVIDIA grafik sürücüsünün kurulumu
2. CUDA kurulumu

yapılması gerekmektedir.

NVIDIA sürücüsünü kurmak için işletim sisteminize ve sahip olduğunuz ekran kartına uygun sürücüyü aşağıdaki adresten indirebilirsiniz.

http://www.nvidia.com/Download/index.aspx?lang=en-us

Burada doğru sürücüyü bulmak için sahip olduğunuz ekran kartı ve işletim sisteminize göre seçimler yapmalısınız.

NVIDIA sürücü kurulumunun doğru yapılıp yapılmadığını "NVIDIA X Server Settings" programı vasıtasıyla kontrol edebilirsiniz. Aşağıda yer alan ekran görüntüleri bu kontrolleri nasıl yapacağınız konusunda size yol gösterici olacaktır.

CUDA kurulumu için önceki yazımı takip edebilirsiniz.

NVIDIA sürücü kurulumunu ve CUDA kurulumunu başarılı bir şekilde yaptıktan sonra cuDNN kurulumuna geçebilirsiniz.

1. cuDNN indirilmesi

cuDNN indirebilmek için öncelikle NVIDIA Developer Program'a kayıt olmanız gerekmektedir. Kayıt işlemi tamamlandıktan sonra aşağıdaki adımlara geçebilirsiniz.

1.1. NVIDIA cuDNN anasayfasına gidiniz
1.2. DOWNLOAD cuDNN tıklayınız
1.3. Kısa anketi tamamlayın ve 'Submit' e basınız
1.4. Şartlar ve Koşulları kabul edin.
1.5. Yüklemek istediğiniz cuDNN versiyonunu seçiniz.

2. cuDNN kurulması

İndirilen dosyalar aşağıda tanımlanan sırayla kurulur.

2.1. runtime kütüphanenin kurulması

sudo dpkg -i libcudnn7_7.1.4.18-1+cuda9.2_amd64.deb

2.2. developer kütüphanenin kurulumu

sudo dpkg -i libcudnn7-dev_7.1.4.18-1+cuda9.2_amd64.deb

2.3. Örnek kodlar ve cuDNN kütüphanesinin kullanım klavuzunun kurulumu

sudo dpkg -i libcudnn7-doc_7.1.4.18-1+cuda9.2_amd64.deb

3. cuDNN kurulumunun başarılı bir şekilde yapıldığının doğrulanması

Kurulumun başarılı bir şekilde yapılıp yapılmadığını test etmek için "/usr/src/cudnn_samples_v7" klasöründe yer alan mnistCUDNN örneği çalıştırılabilir. Bunun için aşağıdaki adımları takip edebilirsiniz.

3.1. /usr/src/cudnn_samples_v7 klasöründe yer alan cuDNN örneğinin HOME klasörüne kopyalanması

cp -r /usr/src/cudnn_samples_v7/ $HOME

3.2.Kopyalama işleminin yapıldığı HOME/cudnn_samples_v7/mnistCUDNN klasörüne gidilmesi

cd $HOME/cudnn_samples_v7/mnistCUDNN

3.3. mnistCUDNN örneğinin derlenmesi

make clean && make

3.4. mnistCUDNN örneğinin çalıştırılması

./mnistCUDNN

Eğer Test passed! yazısını gördüyseniz, cuDNN Kurulumu başarı ile tamamlanmıştır. Derin öğrenme algoritmalarını ekran kartınız (GPU) üzerinde çalıştırabilirsiniz.

CUDA Ubuntu 16.04 Kurulumu

CUDA Ubuntu 16.04 Kurulumu

İşlemci (CPU) üzerinde çalıştırılan "Derin Öğrenme" algoritmalarının çalışma süresi çok uzun sürmektedir ve Derin Öğrenmenin bu kadar popüler olmasının en önemli sebebi Ekran Kartlarının (GPU) Derin Öğrenme algoritmalarının çalışma süresinin CPU'ya göre çok daha kısa sürmesini sağlayacak şekilde çok gelişmiş tasarımlara sahip olmalarıdır. Derin öğrenme konusunda çalışmayı düşünüyorsanız bu çalışmaları yapabilmek için iyi bir ekran kartına sahip olmanız gerekmektedir. Derin öğrenme çalışmaları için Örnek PC Konfigurasyonu size nasıl bir bilgisayara sahip olmanız gerektiği konusunda fikir verecektir.

Derin Öğrenme algoritmalarını Ekran kartı (GPU) üzerinde çalıştırmak için CUDA kurulumu gerekmektedir. Bu kurulum için NVidia'nın hazırlamış olduğu aşağıdaki linkte yer alan dökümanı takip ettim.

https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html

Adım 1. Kurulum Öncesi Kontroller

1.1 Ekran Kartının CUDA Yeteneğinin Kontrolü

Eğer ekran kartınız bu listede yer alıyorsa CUDA yeteneği var demektir

lspci | grep -i nvidia

Yukarıdaki komutu çalıştırdığınız da sistem özelliklerini görmelisiniz eğer herhangi bir sonuç görmüyorsanız PCI donanım veri tabanını güncelleyip tekrar yukarıdaki komutu çalıştırabilirsiniz. (Güncelleme için aşağıdaki komutu çalıştırabilirsniz)

update-pciids

1.2 Desteklenen Linux Versiyonuna Sahip Olduğunuzun Kontrolü

CUDA Geliştirme Araçları sadece Linux'un bazı belirli modellerinde (dağıtımlarında) desteklenmektedir. Aşağıdaki komutu çalıştırın:

uname -m && cat /etc/*release

Aşağıdaki ekran görüntüsüne benzer bir sonuç görmeniz beklenmektedir.

1.3 GCC Derleyicisinin Sisteminize Kurulu Olduğunun Kontrolü

CUDA kullanımı için gcc derleyicisinin kurulu olması gerekmektedir. Aşağıdaki kodu çalıştırarak bilgisayarınızda kurulu olan GCC derleyicisinin versiyonunu öğrenebilirsiniz.

gcc --version

Eğer hata mesajı alıyorsanız gcc derleyicisini kurmanız gerekmektedir.

1.4 Doğru Kernel Başlık (Kernel Header) ve Geliştirme Paketlerinin Sisteminize Kurulu Olduğunun Kontrolü

CUDA sürücülerini kurmadan önce doğru Kernel başlık versiyonlarının ve geliştirme paketlerinin sisteminize kurulu olduğunun manuel olarak kontrol edilmesi gerekmektedir. Aşağıdaki komutu çalıştırarak sisteminizin çalıştığı kernel versiyonunu öğrenebilirsiniz.

uname -r

Şu an sisteminizde çalışan kernel için Kernel başlık ve geliştirme paketlerinin kurulumunu aşağıdaki komutu çalıştırarak yapabilirsiniz.

sudo apt-get install linux-headers-$(uname -r)

Eğer sisteminizde yüklü olan en yeni versiyon ise aşağıdaki gibi bir sonuç alırsınız.

1.5 Kurulum Yönteminin Seçilmesi

CUDA Toolkit 2 farklı yöntemle kurulabilir:

1. distribution specific packages (RPM and Deb packages)
2. distribution-independent package (runfile package)

Genellikle 1. yöntemin kullanılması tavsiye edilmektedir. Bu sebeple kurulumu 1. yöntemi kullanarak gerçekleştireceğiz.

1.6 NVIDIA CUDA Toolkit İndirilmesi

NVIDIA CUDA Toolkit aşağıdaki adresten sisteminize uygun seçimler yapılarak indirilebilir.

https://developer.nvidia.com/cuda-downloads

Adım 2. Paket Yöneticisi Kurulumu

2.1 Depo Meta-Verilerini Kur

İndirmiş olduğunuz NVIDIA CUDA Toolkit paketini aşağıdaki komutu çalıştırarak kurabilirsiniz.

sudo dpkg -i cuda-repo-ubuntu1604-9-2-local_9.2.88-1_amd64.deb

2.2 CUDA public GPG key kurulumu

İkinci aşama olarak GPG key kurulumu yapılması gerekmektedir. Zaten aşağıdaki ekran görüntüsünde göreceğiniz gibi GPG key'in kurulması gerektiği belirtilmiştir.

sudo apt-key add /var/cuda-repo-9-2-local/7fa2af80.pub

 

2.3 Sistemin güncellenmesi

Üçüncü aşama olarak sistemin güncellenmesi gerekmektedir. Aşağıdaki kodu çalıştırarak sistemi güncelleyebilirsiniz

sudo apt-get update

2.4 CUDA Kurulumu

CUDA kurulumunu aşağıdaki kodu çalıştırarak gerçekleştirebilirsiniz.

sudo apt-get install cuda

CUDA yükleme komutunu tekrar çalıştırırsanız aşağıdaki gibi CUDA'nın zaten en yeni versiyonunun yüklü olduğu uyarısını alırsınız (aşağıdaki ekran görüntüsü gibi). Bu uyarı kurulumun başarılı bir şekilde yapıldığını göstermektedir.

CUDA Kurulumu başarı ile tamamlanmıştır.