AE2017

Veri Bilimi

Zeki Çelikbaş, İTÜ
celikbas@itu.edu.tr

ANKOS logo İTÜ logo ANKOS logo #AE2017
### İçerik * Para, para, para * **Veri Bilimi** nedir? * **Veri Biliminde** kullanılan araçlar nelerdir? * **Veri Bilimci** olarak iş bulabilirmisiniz? * Yapay Zeka ve Makina Öğrenmesi * İTÜ'den **Veri Bilimi** örnekleri (bir şekilde katıldığım projeler) * Açık veri kaynakları * Verinin yönetilmesi/arşivlenmesi * Gelecekte neler olabilir? * Dikkat sınav var!

Veri Bilimci Ücretleri

* Veri Bilimci (2781) * Veri Analisti (6562) * İstatistikçi (629)
veri bilini nedir veri bilini nedir
https://www.payscale.com/research/US/Job=Data_Scientist%2c_IT/Salary

Veri Bilimi Nedir

veri bilini nedir veri bilini nedir veri bilini nedir veri bilini nedir veri bilini nedir
Python
Veri Analizi | Veri Barındırma | Veri Görselleştirme | Makine Öğrenmesi -------------|-----------------|---------------------|----------------- RStudio (R) | Hadoop | R | scikit-learn Python | SQL | Tablea | Mahout SAS | Hive | D3.js | Azure ML Studio Numpy | mongoDB | Matplotlib | Spark Pandas | | ggplot2 (R) |
#### Dahil olabileceğiniz veri projeleri ![looking for a job](images/looking-for-a-job.jpg) * Veri Temizleme Projeleri * Veri Görüntüleme Projeleri * Makina Öğrenme Projeleri * Altyapı kurma/geliştirme/sürdürme Projeleri * Verilerle Hikaye Anlatımı (Alan Bilgisi)
Makina Öğrenmesi
python code python code
Kütüphane verileri ile makina öğrenmesi
python code python code python code python code
itü library
İTÜ'den Veri Bilimi Örnekleri
Lab genel tanitim
Yukarı Atmosfer Laboratuvarı
YAL harita
Yukarı Atmosfer Laboratuvarı
YA lab
YA computer

Her 5 dakikada 300MB Veri

Günlük: 300x12x24=86400MB ~ 86GB

Aylık: 86x30=2580GB ~ 2.5TB

Yıllık: 86x30x12=30960GB ~ 30TB

Yukarı Atmosfer Laboratuvarı
YAL harita
İTÜ'den Veri Bilimi Örnekleri
kerem cankocak

Prof.Dr. Kerem CANKOÇAK

Yayın Analizi
kerem yayinlar kerem yayinlar
CERN Computer Lab: Grid
grid

https://home.cern/about/computing

İTÜ'den Veri Bilimi Örnekleri

Prof.Dr. A. Cihat BAYTAŞ

Isı ve Kütle Taşınım Laboratuvarı

```python from mpl_toolkits.mplot3d import Axes3D from matplotlib import cm import matplotlib.pyplot as plt from matplotlib.mlab import griddata import numpy as np fig = plt.figure() ax = fig.gca(projection='3d') data = np.genfromtxt('TEM001.txt') x, y, z = data[:,0], data[:,1], data[:,2] delta = 600 xi = np.linspace(min(x), max(x), delta) yi = np.linspace(min(y), max(y), delta) X, Y = np.meshgrid(xi, yi) Z = griddata(x, y, z, xi, yi, interp='linear') surf = ax.plot_surface(X, Y, Z, rstride=5, cstride=5, cmap=cm.jet, linewidth=1, antialiased=True) fig.colorbar(surf) surf = ax.plot_wireframe(X, Y, Z, rstride=50, cstride=50) plt.show() ```

```python data.shape ``` (2704,3)

veri bilini nedir

```python import matplotlib import numpy as np import matplotlib.cm as cm import matplotlib.mlab as mlab import matplotlib.pyplot as plt from matplotlib.mlab import griddata data = np.genfromtxt('TEM001.txt',dtype=None,names='X,Y,Z') x,y,z = data['X'], data['Y'], data['Z'] xi = np.linspace(min(x), max(x)) yi = np.linspace(min(y), max(y)) X, Y = np.meshgrid(xi, yi) Z = griddata(x, y, z, xi, yi, interp='linear') fig = plt.figure() plt.figure(figsize=[8, 8]) N = 12 CS = plt.contourf(X, Y, Z, N, cmap=cm.jet, antialiased=True) fig.colorbar(CS) CS = plt.contour(X, Y, Z, N) plt.clabel(CS, inline=1, fontsize=12) plt.title('{} levels'.format(N)) plt.xlim(0, 1) plt.ylim(0, 1) plt.show() ```

```python data.shape ``` (2704,3)

```python import matplotlib import numpy as np import matplotlib.pyplot as plt data = np.genfromtxt('1VEL.txt',dtype=None,names='X,Y,U,V') X, Y, U, V = data['X'],data['Y'],data['U'],data['V'] skip = (slice(None, None, 1)) plt.figure(figsize=[20, 10]) plt.title('Hız Dağılımı') plt.quiver(X[skip], Y[skip], U[skip], V[skip],color='blue') plt.show() ```

```python data.shape ``` (2704,3)

İTÜ'den Veri Bilimi Örnekleri
Hüseyin TOROS

Doç.Dr. Hüseyin TOROS

The Weather Research and Forecasting (WRF) Model
WRF free data http://www2.mmm.ucar.edu/wrf/users/download/free_data.html National Center for Atmospheric Research
Mesoscale & Microscale Meteorology Laboratory
#### Açık Veri Kaynakları ![Academic Torrents](images/opendata/at-logo.png) ![Reddit](images/opendata/reddit.jpg) ![](images/opendata/datagov.jpg) ![](images/opendata/wikipedia.jpg) ![](images/opendata/datadotworld.png) ![](images/opendata/wunderground.jpg) ![](images/opendata/aws.jpg) ![](images/opendata/socrata.jpeg) ![](images/opendata/OGP_logo.png) > https://www.dataquest.io/blog/free-datasets-for-projects/
### Veri Depolama Sistemleri * dSpace * Zenodo * Imeji * Geoserver
#### dspace ![dspace](images/dr_dspace.png) http://www.dspace.org/
#### Zenodo ![Zenodo](images/dr_zenodo.png) https://github.com/zenodo/zenodo
#### Invenio ![Invenio](images/dr_invenio.png) http://inveniosoftware.org/
#### İmeji ![İmeji](images/dr_imeji.png) http://imeji.mpdl.mpg.de/ - Max Planck Digital Library https://www.mpdl.mpg.de/en/
#### Geoportal ![Geoportal](images/dr_geoportal.png) * NOAA Central Library https://www.lib.noaa.gov/ - esri: http://www.esri.com/software/arcgis/geoportal
#### IPFS Inter Planetary File System https://ipfs.io/ * IPFS veri bilimcinin can simididir * Tek bir kök sistemi / * Her dosya için bir "Sayısal Nesne Belirleyici" * Çift dosya bulundurmayı engelliyor ![ipfs](images/ipfs-illustration-centralized.svg "Merkezileşen Web") ![ipfs](images/ipfs-illustration-network.svg "Kaybolan içerik")
#### IPFS Inter Planetary File System > $ ipfs add mytextfile.txt > added QmZtmD2qt6fJot32nabSP3CUjicnypEBz7bHVDhPQt9aAy mytextfile.txt ##### IPFS Kimler İçin Faydalıdır * Araştırmacılar ve Veri Bilimciler * Arşivciler Kütüphaneciler * İçerik sağlayıcılar
#### openmined ![OpenMined](images/OpenMined.png) https://openmined.org/ * Deep Learning * Federated Learning * Homomorphic Encriyption * Blockchain
#### Her Zaman Gözönünde Tutunuz * Veri hiçbir zaman ESKİMEZ! * Veriyi herzaman KAYDEDİNİZ! * Hiçbirşey yapamıyorsanız ARŞİVLEYİNİZ!

Veri Bilimcinin Özellikleri

Merak

Mizah anlayışı

Hikaye atlatma yeteneği

Tutku

https://cognitiveclass.ai/courses/data-science-101/

6. ulusal açık erişim konferansına geldiğiniz için

Teşekkür Ederim


Zeki Çelikbaş