1.Kayıp Gerald Dönüşümü(Recovery of Missing Geralds)

DRD formatına dönüştürülen Gerald klasörlerinin içeriklerinin kontrolü:

Kaset yazımı:Kaset sisteme tanıtıldığında ilk 64 kB'lık kısıma kasetin ismi yazılır (TAPE_LABEL). Daha sonra Gerald yazımına başlandığında Gerald klasöründen önce 64 kB boyutunda Gerald info dosyası yazılır. Ve ardından Gerald yazılır.

file_001 :TAPE_LABEL

file_002 :GERALD_INFO (1.Gerald info file)

file_003 :GERALD (1.Gerald directory-tar)

file_004 :GERALD_INFO (2.Gerald info file)

file_005 :GERALD (2.Gerald directory-tar)

...

file_001 kaset adının tutulduğu info dosyası, çift sayı ile biten dosyalar Gerald info dosyaları ve tek sayı ile biten dosyaların Gerald dosyaları olduğunu biliyoruz. Yapılmasını istediğimiz şey, info dosyalarının cat komutu ile açılıp incelenmesi, ve Gerald klasörlerinin tar komutu ile içindeki dosyalarının listelenmesi.

#!/bin/bash

echo "script name: $0"

tarlog = ./tarlog.txt

for file in `ls file_???`; do

   number = `echo $file | awk -F "_" '{print $2}'`

   result = `expr $number % 2`

   errornumber = 0

   if [$file == file_001]; then

      echo "pass file: $file"

      cat $file

   elif["$result" -eq "0"]; then

      echo "even number : $file"

      cat $file

   elif ["$result" -eq "1"]; then

      echo -n "odd number : $file"

      tar tvf $file >> $tarlog 2>&1

      cat $tarlog

      errornumber = `grep "Error" $tarlog | wc -l`

      echo "errornumber : $errornumber"

   fi

   echo "press enter to continue" && read

done

script çalıştırılırsa;

root@ubuntu:/home/sevcan/Desktop/test# ./test.sh
script name: ./test.sh
pass file: file_001
SPOT-TSO-090713-2
SIMPLE
press enter to continue

even number : file_002
Product_Name: /GERALD/SPOT_4/2009_07/SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42
Product_Type: DIRECTORY
Product_Size_KB: 47464
Media_Label: SPOT-TSO-090713-2
Tape_Mode: SIMPLE
Tape_Position: 1
press enter to continue

odd number : file_003
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/
-rw-rw-r-- tsoadm/tso 307480 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.DESC
-rw-rw-r-- tsoadm/tso 48083568 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.IMA_000001_003991
-rw-rw-r-- tsoadm/tso 136867 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.JPG
errornumber : 0
press enter to continue
even number : file_004
Product_Name: /GERALD/SPOT_4/2009_07/SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01
Product_Type: DIRECTORY
Product_Size_KB: 77236
Media_Label: SPOT-TSO-090713-2
Tape_Mode: SIMPLE
Tape_Position: 2
press enter to continue

odd number : file_005
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/
-rw-rw-r-- tsoadm/tso 307480 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.DESC
-rw-rw-r-- tsoadm/tso 48083568 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.IMA_000001_003991
-rw-rw-r-- tsoadm/tso 136867 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/
-rw-rw-r-- tsoadm/tso 313732 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.DESC
-rw-rw-r-- tsoadm/tso 78601152 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.IMA_000001_006524
-rw-rw-r-- tsoadm/tso 76524 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.JPG
errornumber : 0
press enter to continue
even number : file_006
Product_Name: /GERALD/SPOT_4/2009_07/SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26
Product_Type: DIRECTORY
Product_Size_KB: 82760
Media_Label: SPOT-TSO-090713-2
Tape_Mode: SIMPLE
Tape_Position: 3
press enter to continue

odd number : file_007
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/
-rw-rw-r-- tsoadm/tso 307480 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.DESC
-rw-rw-r-- tsoadm/tso 48083568 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.IMA_000001_003991
-rw-rw-r-- tsoadm/tso 136867 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/
-rw-rw-r-- tsoadm/tso 313732 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.DESC
-rw-rw-r-- tsoadm/tso 78601152 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.IMA_000001_006524
-rw-rw-r-- tsoadm/tso 76524 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/
-rw-rw-r-- tsoadm/tso 314929 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.DESC
-rw-rw-r-- tsoadm/tso 84119136 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.IMA_000001_006982
-rw-rw-r-- tsoadm/tso 206085 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.JPG
errornumber : 0
press enter to continue
even number : file_008
Product_Name: /GERALD/SPOT_4/2009_07/SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-55
Product_Type: DIRECTORY
Product_Size_KB: 49388
Media_Label: SPOT-TSO-090713-2
Tape_Mode: SIMPLE
Tape_Position: 4

press enter to continue
odd number : file_009

drwxrwxr-x tsoadm/tso 0 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/
-rw-rw-r-- tsoadm/tso 307480 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.DESC
-rw-rw-r-- tsoadm/tso 48083568 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.IMA_000001_003991
-rw-rw-r-- tsoadm/tso 136867 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-00-42/S4_H1_I_DT_20090713100042_56_003991.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/
-rw-rw-r-- tsoadm/tso 313732 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.DESC
-rw-rw-r-- tsoadm/tso 78601152 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.IMA_000001_006524
-rw-rw-r-- tsoadm/tso 76524 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-01/S4_H1_I_DT_20090713100101_56_006524.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/
-rw-rw-r-- tsoadm/tso 314929 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.DESC
-rw-rw-r-- tsoadm/tso 84119136 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.IMA_000001_006982
-rw-rw-r-- tsoadm/tso 206085 2009-07-13 08:30 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-26/S4_H1_I_DT_20090713100126_56_006982.JPG
drwxrwxr-x tsoadm/tso 0 2009-07-13 08:31 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-55/
-rw-rw-r-- tsoadm/tso 308012 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-55/S4_H1_I_DT_20090713100155_56_004155.DESC
-rw-rw-r-- tsoadm/tso 50059440 2009-07-13 08:27 SPOT_4_GERALD_33_330000002901_312_I_DT_HRVIR_1_2009-07-13_10-01-55/S4_H1_I_DT_20090713100155_56_004155.IMA_000001_004155
tar: Skipping to next header
tar: Exiting with failure status due to previous errors
errornumber : 0
press enter to continue

Archive Product List-Online Product List(SATIS)'e dönüştürülmüş verilerin eklenmesi

UHUZAM 'da şuanda kullanılan kasetler DRD tipindedir. Eskiden kullanılan kasetler ise DATRON yapımı DLT kasetler idi.

Datron formatından DRD formatına dönüştürülen verilerin DRD kasetlerine yazılır hale gelebilmesi için öncelikle bilgilerin SATIS'e eklenmesi gerekir.

Aşamalar:

1. SPOT4 uydu görüntülerini TSO-ADM-1'de

/DATA/SPOTON/DATA/archive/DRIVE/GERALD/SPOT_4/2009_06 klasörü altına kopyalama

2. SATIS veritabanını güncelleme.

SATIS görüntü okuma ve görüntü kaydetme için kullanılan grafik arayüzlü bir programdır.

Alt sekmeleri: Waiting Requests,Running Request,Products Online ve Administration

Waiting Requests: Henüz kasete yazılmamış, yazılmayı bekleyen görüntülerin listelendiği yer. Kasete yazılan görüntüler buradan Running Requests'e ve sonrasında Products Online sekmesine taşınır.

Products Online: Kasete yazılmış ve yazılmamış görüntülerin listelendiği yer. Yazılmış veriler tik olarak işaretli, yazılmamış veriler ise işaretsiz olarak görünür.

Bu iki listeye de Gerald'ların eklenmesi gerekir.

TSO-ADM-1' bağlanılır ve

cd /DATA/SPOTON/DATA/archive/database/mgt_space

klasörü içine girilir.

Bu klasörde ONLINE_PRODUCT.LIST ve ARCHIVE_PRODUCT.LIST dosyaları bulunur. Dosyalar güncellemeden önce bir kopyası alınmalıdır.

cp ONLINE_PRODUCT.LIST ONLINE_PRODUCT.LIST_xxxxx
cp ARCHIVE_PRODUCT.LIST ARCHIVE_PRODUCT.LIST_xxxxx

Bu iki listede de bulunan başlıklar şunlardır:

<GERALD_PATH>        SPOT_LEVEL0_TAPE   <PRODUCT_DATE> <PRODUCT_TIME>           <PRODUCT_SIZE_KB>             0          UNKNOWN

Yapmamız gereken işlemse .INFO dosyaları içerisinden bilgileri alarak bu başlıklar altına eklemektir.

.INFO dosyasının içeriğine bakarsak:

PRODUCT_NAME : /GERALD/SPOT_4/2009_07/SPOT_4_GERALD_33_330000002901_312
_I_DT_HRVIR_1_2009-07-13_10-00-42
MEDIA_LABEL : UNKNOWN
NUMBER_OF_LOCKERS : 0
ACTION_AFTER_USE : NONE
IS_ON_DISK : NO
PRODUCT_SIZE_IN_KB : 47464
RULE_NAME : SPOT_LEVEL0_TAPE
PRODUCT_DATE : 2009-07-13
PRODUCT_TIME : 15:30:54

Bu işlemi her bir INFO dosyasından tek tek kopyalayarak veritabanına aktarmak yerine bir kabuk yazarak komutlar yardımıyla yapmak mümkün.

Kullanılacak script:

#!/bin/bash
echo "script name: $0"
productlists=./productlists.txt
for file in `ls SPOT_*INFO`; do
   cat $file
   path=`awk '/PRODUCT_NAME/{print $3}' $file`
   date=`awk '/PRODUCT_DATE/{print $3}' $file`
   producttime=`awk '/PRODUCT_TIME/{print $3}' $file`
   size=`awk '/PRODUCT_SIZE/{print $3}' $file`
   printf "%s %s %s %s %s %s %s\n" $path SPOT_LEVEL0_TAPE $date $producttime $size 0 UNKNOWN >> $productlists
done

Bu işlem de yapıldıktan sonra ilgili satırlar ONLINE_PRODUCT.LIST ve ARCHIVE_PRODUCT.LIST 'e eklenir.

SATIS Desktop Manager üzerinden kapatılıp tekrar açılırsa, Gerald'ların Waiting Requests ve Products Online sekmelerinde bulunduğu görünür.

2.Bilgisayardaki farklı uzantılı dosyaların tespiti

ExtensionCounter

Bilgisayarımızın tüm bölümlerinde veya özellikle bir bölümünde hangi uzantılı dosyalardan kaçar tane olduğunu öğrenmek istersek;

#/bin/bash
echo "script name: $0"
uzisimleri=./uzantiisimleri.txt
find ./ -type f | awk -F "/" '{print $NF}' | awk -F "." '{print $NF}' >> $uzisimleri
cat $uzisimleri | sort | uniq -c
~

script çalıştırılırsa;

root@ubuntu:/home/sevcan/Desktop/deneme# ./extensionCounter.sh 
script name: ./extensionCounter.sh

2 doc
2 docx
4 exe
4 INFO
2 jpg
1 JPG
1 out
3 pdf
1 png
3 sh
1 swp
4 txt

3.Network Time Protocol Sunucuları (NTP Server)

NTP Server

NTP yani Ağ Zaman Protokolü, bilgisayarların eş zamanlı çalışması için ihtiyaç duyulan bir protokol.

Ntp paket yüklemesi için:

sudo apt-get install ntp

Yükleme tamamlandıktan sonra, konfigürasyon ayarlarının bulunduğu dosyaya bakılabilir.

vim /etc/ntp.conf

##########################################################

# /etc/ntp.conf, configuration for ntpd; see ntp.conf(5) for help

driftfile /var/lib/ntp/ntp.drift

# Enable this if you want statistics to be logged.
#statsdir /var/log/ntpstats/

statistics loopstats peerstats clockstats
filegen loopstats file loopstats type day enable
filegen peerstats file peerstats type day enable
filegen clockstats file clockstats type day enable

# You do need to talk to an NTP server or two (or three).
server time.ume.tubitak.gov.tr
server 212.175.13.213
server tick.usno.navy.mil version 3
#server 192.36.144.23
#server 192.36.143.152
#server 129.69.1.153
#server 0.ru.pool.ntp.org
#server 62.117.76.141
#server 192.87.106.2
#server ntp.ubuntu.com
#server ntp1.mku.edu.tr
#server ntp2.mku.edu.tr
#server ntp1.ulak.net.tr
#server ntp3.ulak.net.tr
#server 1.tr.pool.ntp.org
# Access control configuration; see /usr/share/doc/ntp-doc/html/accopt.html for
# details. The web page <http://support.ntp.org/bin/view/Support/AccessRestrictions>
# might also be helpful.
#
# Note that "restrict" applies to both servers and clients, so a configuration
# that might be intended to block requests from certain clients could also end
# up blocking replies from your own upstream servers.

# By default, exchange time with everybody, but don't allow configuration.
restrict -4 default kod notrap nomodify nopeer noquery
restrict -6 default kod notrap nomodify nopeer noquery

# Local users may interrogate the ntp server more closely.
restrict 127.0.0.1
restrict ::1

# Clients from this (example!) subnet have unlimited access, but only if
# cryptographically authenticated.
#restrict 192.168.123.0 mask 255.255.255.0 notrust

# If you want to provide time to your local subnet, change the next line.
# (Again, the address is an example only.)
#broadcast 192.168.123.255

# If you want to listen to time broadcasts on your local subnet, de-comment the
# next lines. Please do this only if you trust everybody on the network!
#disable auth
#broadcastclient

##########################################################

NTP servislerinin kontrolü için birkaç yöntem var.

1. ntpq -p

root@ubuntu:/home/sevcan# ntpq -p
remote refid st t when poll reach delay offset jitter
==============================================================================
time.ume.tubita .UME. 1 u 38 64 1 66.673 -2.222 0.001
212.175.13.213 212.175.13.34 3 u 42 64 1 57.392 13.511 0.001
192.5.41.40 .USNO. 1 u 16 64 1 197.599 12.797 0.001

2. ntpdc -p

root@ubuntu:/home/sevcan# ntpdc -p
remote local st poll reach delay offset disp
=======================================================================
=time.ume.tubita 192.168.31.139 1 64 2 0.06667 -0.002222 2.81735
=212.175.13.213 192.168.31.139 3 64 2 0.05739 0.013511 2.81735
=ntp0.usno.navy. 192.168.31.139 1 64 2 0.19759 0.012797 2.81735

Ayrıca ntp.conf dosyasındaki aktif sunucuları listelemek için şu komutu kullanabiliriz.

grep "^server" /etc/ntp.conf

root@ubuntu:/home/sevcan# grep "^server" /etc/ntp.conf
server time.ume.tubitak.gov.tr
server 212.175.13.213
server tick.usno.navy.mil version 3

Uhuzam'da kullanılan bilgisayarların NTP ile eşzamanlı çalışmasını sağlayan iki bilgisayar mevcut: SCNXS ve CFS2.

Radarsat uydusu için DRS1 ve DRS1A bilgisayarları NTP bilgilerini SCNXS ve CFS2'den çekmekte. Aynı zamanda Spot uydusu için ilgili tüm cihazlar TSO-ECL-1 bilgisayarından bu bilgileri çekiyor. TSO-ECL-1 bilgisayarı da dolaylı olarak yine SCNXS ve CFS2 aracılığıyla NTP bilgilerine ulaşabilmektedir.

Burada önemli olan kısım: delay, offset ve jitter değerlerinin olabildiğince küçük olması.

delay: zaman bilgisinin sunucu bilgisayardan çıkıp istemci bilgisayara gönderilmesine kadar geçen süre.

offset: zamanlamanın istenildiği sunucu bilgisayarla istemci bilgisayar arasındaki zaman farkı.

jitter: salınım anlamına gelir. istekler arasındaki sapmayı ifade eder. küçük olması istatiksel olarak daha iyi sonuç demektir.