6 July 2008 - 21:54Kopírovaní souborů po sítí se zachováním práv

Jestliže potřebujete překopírovat 100GB dat po síti máte v zásadě tyhle možnosti.

  • Zabalit data lokálně, přes FTP či SSH překopírovat a rozbalit.
  • Nainstalovat rsync a překopírovat data
  • Rozchodit NFS
  • Použít tar a překopírovat data přes SSH se zabalením onfly

Věnovat se budu tomu posledně zmiňovanému, což se hodí v případech kdy nemáte na lokálním disku dostatek místa. Abyste mohli script spustit na pozadí, je potřeba nejdříve vygenerovat SSH klíč.

bluedot.cz:/# ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/root/.ssh/id_dsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
f3:a2:5d:27:57:50:21:72:53:d6:51:54:c5:ba:c9:01 root@hostname

Překopírujte soubor /root/.ssh/id_dsa.pub na server kam potřebujete data překopírovat.

bluedot.cz:/# scp /root/.ssh/id_dsa.pub root@vzdaleny_server:/root

Na vzdáleném serveru přidejte klíč do authorized_keys

vzdaleny_server:/# cat /root/id_dsa.pub >> /root/.ssh/authorized_keys

Náledující uložte jako copy.sh (kopíruje /home z aktuálního serveru na vzdaleny_server do /home2copy)

#!/bin/bash

tar -zcvf – /home | ssh root@vzdaleny_server tar -C /home2copy -zxf -

Spusťte a čekejte ;)

nohup ./copy.sh &

V jakém je kopírování stavu zjistíte pomocí

tail nohup.out či tail -f nohup.out

1 Comment | Tags: How to

29 June 2008 - 17:16Maxtore shared storage II – minirecenze

Jenom v rychlosti :)
http://www.maxtorsolutions.com/en/catalog/MSS_II_Dual/

+ linux inside
+ v raid1 kapacita 1TB, pripadne raid0 s kapacitou 2TB
+ pokud použijete hacknuty firmware, můžete si kapacitu upravit podle sebe
+ možnost používat hackuty firmware (linux) viz http://www.openmss.org/
+ mdadm
+ hlučnost  je minimální
+ malé led diody – tzn v noci to vůbec neruší.
+ 2x USB
+ printserver

- Základní firmware toho moc neumi
- Funkce na automatické rozdělování souborů do složek pracuje podle koncovek a nejde to nikde editovat.Funguje na principu *.mp3 dej do složky Audio, *.doc dej do složky Dokumenty. Ve výchozím nastavení vůbec neumí openoffice formáty.
- design, je to taková nic moc krabička, externí disky od WD jsou hezčí
- cena 10400 bez DPH,-

Netestoval jsem mediaserver.

Rychlost zápisu, větší množství malých souborů – 22MB, 500 malých souborů
busybox_upload.jpg

Rychlost zápisu, jeden velý soubor – 700MB ISO
busybox_upload2.jpg

Rychlost čtení – jeden velký soubor 700MB
busybox_download.jpg

Hacknutý firmware, přístup přes SSH
busybox.jpg

Disk má sice gigabitovou síťovou kartu, ale díky CPU který tam je nelze při normálním používání zaplnit ani 100mbit.

No Comments | Tags: Hardware

10 June 2008 - 0:21Na nic.cz zjistite nic

Chtel jsem zjistit par detailu o dvou domenach a nic jsem nezjistil, protoze nic.cz nefunguje :(

% (c) 2006,2007 CZ.NIC, z.s.p.o.
%
% Intended use of supplied data and information
%
% Data contained in the domain name register, as well as information
% supplied through public information services of CZ.NIC association,
% are appointed only for purposes connected with Internet network
% administration and operation, or for the purpose of legal or other
% similar proceedings, in process as regards a matter connected
% particularly with holding and using a concrete domain name.
%
% Full text available at:
% http://www.nic.cz/page/306/intended-use-of-supplied-data-and-information/
%
% See also a search service at http://www.nic.cz/whois/
%
% Whoisd Server Version: 2.1.0

%ERROR:501: internal server error
%
% Query didn’t succeed becauseof server-side error. Please try again later.

Neni to jenom whois server, ale i web nic.cz

No Comments | Tags: Internet

28 April 2008 - 19:43Předcházení problémů nastavení účtu webhostingu u klientů

Provozování hostingových služeb je celkem hračka co zvládne celkem každý, 100 klientu je pohoda. Ale pokud počet klientů přeroste určitou hranici kdy už se nevejdete na jeden server, tak vetšinou nastává problém s tím že nevíte co ma jaký klient nastaveno v outlooku někdo používá k připojení k databázi localhost někdo tam pro jistotu nenapíše nic. Někdo používá mysql.example.org …atd.

Doporučuji na začátku pevně stanovit pravidla.

- Mysql server vždy beží na mysql.example.org (nejlépe úplně zakázat přístup z localhost * )
- Postgresql server je dostupný jen na pgsql.example.org
- Odchozí server je vždy smtp. example.org
- Příchozí pošta pro pop3 je pop3.example.org
- Příchozí pošta pro imap je imap.example.org
- FTP server beží jen na ftp.example.org

S takto rozdělenými službami si již můžete snadno hrát a  naprosto bez problémů
je přehodit na jiný server s nějakým dočasným (dejme tomu týdenním redirectem).
A snadno bez výpadků můžete růst z jednoho serveru dál.

Jestliže, ale máte situaci  kdy každý klient používá jiné nastavení tak je buď musíte všechny
obvolat nebo oslovit emailem což Vám stejně nikdy nezaručí, že si své nastavení
zkontrolují a opraví.

Naopak když tomu budete důsledně dbát na nastavení a směrovat klienty správným směrem
ušetříte čas, peníze a ještě Vás budou mit klienti možná rádi.

* Proč nepovolovat připojení k mysql z localhost?
- připojení probíha přes socket a je nepřesměrovatelné na jiný server a pokud nemáte pod kontrolou aplikaci je to problém.

No Comments | Tags: Hosting a housing

21 January 2008 - 0:23Dokončování projektů

Každý kdo máte nějaký svůj projekt nebo na kterém děláte( tzn termíny dokončení si
určujete sami.) to určite znáte. Startup projektu je celkem snadný a první polovinu celé
práce máte za sebou velmi rychle. Jenže pak přichází zlom, kdy je pořád težší se dokopat
k tomu dělat to co je potřeba. A většinou posledních 10% trvá stejně dlouho těch 90%  předtím. A některé projekty již ve stádiu 90% rozpracovanosti zůstanou.
Není to tím, že by mi chyběli nápady ale prostě tak nějak na to není čas a nálada.

Poučka.

Prvních 90% mám za sebou, ještě 90% zbývá.

Koncem roku se mi věci nějak nakupili (část problémů řeším ještě nyní) , takže od nového
roku zkouším nový pracovní model.

  • Večer si dám reálný cíl co chci další den stihnout.
  • Snažím se dělat minimum věcí pro známé, protože to zabírá čas a je to pro mne velmi neefektivní.
  • Čas na všechny věci se snažím určovat podle následujícího vzorečku ((čas reálné práce * 3) + 20%), tím mám dost času i když se zkrátí na polovinu a jsou tam započteny i všechy případné průšvihy jako náhlá reinstalace windows, výpadek internetu. Tohle je jedna z mála rozumných věcí z vysoké školy ;)
  • Co lze snažím se zautomatizovat a řešit jenom případné vyjímky a problémy.

Zatím to vypadá, že tenhle postup funguje, ale težko říct jak dlouho bude….

3 Comments | Tags: Programování

21 December 2007 - 14:24PF 2008

Přeji všem co to tu čtete vše nejlepší do nového roku, málo padajících serverů, hodně uživatelů a minimum problémů.

No Comments | Tags: Osobní

21 November 2007 - 23:48Ladění konfigurace mysql

Vylaďte si snadno mysql databázi pomocí tohoto scriptu.
http://www.day32.com/MySQL/tuning-primer.sh

Výstup vypadá následovně, zjistíte kde jsou slabá místa a pak už jenom poladíte parametry.
Jestliže spravujete více serverů, je to vhodná pomůcka.
Na větších mysql serverch trvá provádění testu KEY BUFFER a TABLE CACHE i desítky minut, takže buďte trpělivý.

MySQL Version 5.0.24a-Debian_9-log x86_64

Uptime = 2days 0 hrs 54 min 40 sec
Avg. qps = 181
Total Questions = 16249099
Threads Connected = 37

SLOW QUERIES
Current long_query_time = 10 sec.
You have 4 out of 16249126 that take longer than 10 sec. to complete
The slow query log is enabled.
Your long_query_time may be too high, I typically set this under 5 sec.

WORKER THREADS
Current thread_cache_size = 0
Current threads_cached = 0
Current threads_per_sec = 6
Historic threads_per_sec = 2
Threads created per/sec are overrunning threads cached
You should raise thread_cache_size

MAX CONNECTIONS
Current max_connections = 600
Current threads_connected = 36
Historic max_used_connections = 156
The number of used connections is 26% of the configured maximum.
Your max_connections variable seems to be fine.

MEMORY USAGE
Max Memory Ever Allocated : 5 G
Configured Max Per-thread Buffers : 17 G
Configured Max Global Buffers : 778 M
Configured Max Memory Limit : 17 G
Physical Memory : 1.96 G

Max memory limit exceeds 90% of physical memory

KEY BUFFER
Current MyISAM index space = 122 M
Current key_buffer_size = 512 M
Key cache miss rate is 1 : 1440
Key buffer fill ratio = 0 %
./tuning-primer.sh: line 623: [: 5024a: integer expression expected
Your key_buffer_size seems to be too high.
Perhaps you can use these resources elsewhere

QUERY CACHE
Query cache is enabled
Current query_cache_size = 256 M
Current query_cache_used = 173 M
Current query_cache_limit = 16 M
Current Query cache Memory fill ratio = 67.66 %
Current query_cache_min_res_unit = 4 K
Query Cache is 10 % fragmented
Run “FLUSH QUERY CACHE” periodically to defragment the query cache memory
If you have many small queries lower ‘query_cache_min_res_unit’ to reduce fragmentation.
MySQL won’t cache query results that are larger than query_cache_limit in size

SORT OPERATIONS
Current sort_buffer_size = 16 M
Current record/read_rnd_buffer_size = 3 M
Sort buffer seems to be fine

JOINS
Current join_buffer_size = 6.00 M
You have had 4764 queries where a join could not use an index properly
join_buffer_size >= 4 M
This is not advised
You should enable “log-queries-not-using-indexes”
Then look for non indexed joins in the slow query log.

OPEN FILES LIMIT
Current open_files_limit = 3010 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_cache value = 64 tables
You have a total of 4016 tables
You have 65 open tables.
Current table_cache hit rate is 0%, while 101% of your table cache is in use
You should probably increase your table_cache

TEMP TABLES
Current max_heap_table_size = 16 M
Current tmp_table_size = 128 M
Of 116431 temp tables, 16% were created on disk
Effective in-memory tmp_table_size is limited to max_heap_table_size.
Created disk tmp tables ratio seems fine

TABLE SCANS
Current read_buffer_size = 2 M
Current table scan ratio = 3304 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 1 : 12661
Your table locking seems to be fine

No Comments | Tags: Databáze

14 November 2007 - 21:30Seznam efekt

Dnes se na homepage seznamu objevila nová sekce a to videa ze serveru stream.cz . Díky tomu se serveru stream.cz zvedla návštěvnost o skoro 250% .

Seznam efekt

Tomu se dá říct jedině seznam efekt a tím se i ze samostatně neúspěšného streamu stává projekt úspěšný a díky seznamu bude i výdělečný.

No Comments | Tags: Internet

7 November 2007 - 10:21Ebay, letecká doprava vs česká pošta

Nesnáším českou poštu, většinu balíků co mi kdo kdy poslal, tak dojdou různě pomačkané a doručení trvá šíleně dlouho – posledně jsme čekali na doručení čtyř simkaret od Vodafone skoro dva týdny. Naproti tomu mě dostal nákup na ebay, který jsem provedl v sobotu 3.11.2007 odpoledne a v úterý 6.11.2007 odpoledne jsem měl nakoupené věci doma.

- žádný problém vše velmi rychle vyřízeno, platba přes paypal
- poštovné přes půl světa stálo 10 dolarů

O víkendu jsem taky nakoupil pár DVD z filmx.cz (100kč za DVD, no nekupte to), tak jsem zvědavý kdy a v jakém stavu dorazí.Sice je poštovné zadarmo, ale radši bych zaplatil těch 10 dolarů navíc a měl to rychle a spolehlivě doma.

Edit 21.11
Česká pošta opět nezklamala, balík jim od 8.11 ležel na jiné poště než kam ho měli doručit. Navíc se ani neobtěžovali dát do schránky papír, že mám něco na poště.Jedno DVD přišlo dokonce s nalomeným obalem…

5 Comments | Tags: Osobní

5 November 2007 - 13:52Too many open files

(24)Too many open files : cannot read directory for multi: /var/www/squirrelmail/

Pokud máte problémy s výše uvedenou chybou, tak problém je v počtu současně otevřených souborů.
Jejich počet zjistíte přes příkaz lsof

bluedot:~# lsof | wc -l
58880

Zkuste přes příkaz ulimit -a zkontrolovat maximální počet otevřených souborů

bluedot:~# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
max locked memory (kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
stack size (kbytes, -s) unlimited
cpu time (seconds, -t) unlimited
max user processes (-u) unlimited
virtual memory (kbytes, -v) unlimited

Pokud Vám nestačí 1024 otevřených souborů pro jeden proces, nastavte větší hodnotu pomocí

bluedot:~# ulimit -n 2048

Tím by se mělo vše vyřešit, důležité je nastavit ulimit po každém restartu služby, typicky apache – ideální je vložit tento příkaz někam na začátek startovacího scriptu v /etc/init.d

No Comments | Tags: Hosting a housing, PHP