Экскурсия в дата-центр MSM

После моих фото-репортажей, мне предложили сходить в гости в дата-центр компании МСМ, где у меня лежит арендованный сервер. Предложил это дело Владимир Лапшин. Естественно, я не мог отказаться, т.к. никогда не был в дата центре внутри.

Подготовился к съемке я, правда, херово, поэтому фотографии будут средней поршивости. Но зато много интересного расскажу про МСМ.

Так, дата-центр на ВДНХ – это экспериментальный проект, спроектированный и сделанный целиком в стенах МСМ. Он небольшой, всего 40 стоек, и у него уровень TIER 2+. Этот эксперимент делался для того, чтобы научиться, как правильно строить дата-центры. И сейчас МСМ строит новый, самый большой в России, дата-центр на 2000 стоек. Это больше, чем на М9 и у стак-нета. Новый дата центры будет иметь TIER 4+.

Всего 2 ряда стоек. Внизу из щелей идет холодный воздух с хорошим напором, чтобы доходить до серверов на самом верху стоек. От потолка он отражается и внутри этого коридора очень холодно и избыточное давление.

Коммутатор, который раздаёт интернет на все стойки.

Это рейд-массив (рейд 5) в 12 терабайт, где хранятся все логи и дампы из этого дата-центра. Еще у мсм 100 стоек на м9. Если у вас 2 сервера у мсм в разных дата-центрах, то трафик между ними не считается.

Огромный черный шкаф – это мега-упс, который может держать весь дата-центр в течении 15-20 минут. Так же в подвале стоит дизель-генератор на всякий случай.

Красные баллоны – это газ (углекислый, вроде) под давлением. Если что-то загорается в дата-центре, то газ выпускается и замещает собой весь кислород. Соответственно огонь тушится, но всё оборудование при этом остаётся невредимым. Читать далее

В закладки!

Очередная битва выиграна

Сегодня в очередной раз победил линух. Проблема заключалась в том, что к серверу прилагалось 8 айпишников. 1 реальный и 7 виртуальных. При добавлении виртуальных айпишников на работающую систему всё проходило гладно, айпишники поднимались и всё работало, но стоило прописать их в автозагрузку, как после рестарта сеть вообще не заводилась. И сервер извне становился просто недоступен.

В первый раз, когда это случилось, я подумал что это глюки msm’а. Но потому выяснилось, что мои. А мне надо было ехать в мсм заключать договор, поэтому решил заодно и наведать сервер, чтобы наместе разобраться.

Офис мсма большой и красивый, в новом офисном здании на ВДНХ. Там же и датацентр. Сервер мне вынесли, я над ним поколдовал, всё настроил с 10го раза и убыл домой. Но вечером уронил сесть снова из-за неправильных настроек. Сделал заявку на подключение ip-kvm — выполнили очень быстро. Пока мне мсм вполне нравится.

Значит как побороть эту проблему с виртуальными айпишниками конкретно в Fedora Core 9. Вообще про настройку сети и дополнительные айпи адреса можно почитать тут. Там есть хороший способ о том, как их поднимать массово, а не на каждый свой файл:

Создадим /etc/sysconfig/network-scripts/ifcfg-eth0-range0

IPADDR_START=192.168.0.101
IPADDR_END=192.168.0.120
NETMASK=255.255.255.255
CLONENUM_START=1
NO_ALIASROUTING=yes

Единственное, что надо учитывать, что CLONENUM_START — это номер с которого они будут именоваться (в данном случае с eth0:1).

Дальше, чтобы всё заработало, нужно всего-лиш выключить из автозагрузки демон Network Manager. Это некаяю приблуда для Xorg (графический интерфейс) для настройки сети, с которой из коммандной строки работать невозможно. Соответственно её можно тупо выключить. После этого всё начинает работать как часы. Отключается в федоре она так: запускаем команду setup. Там выюираем System Services и снимаем галочку с NetworkManager. Всё. Хеваем фан.

***

Постовой: бытовая техника zanussi в одессе, когенерационные установки, Игрушки Лего.

Спонсор недели — Liex — покупка и размещение статей.

***

И не забываем про твиттер — там ного интересного.

Как я запускал новый сервер под linux

Мне рассказали, что Linux вообще лучше подходит для серверов, чем freebsd. Ну я и повелся. Заказал новый сервер с федорой. Дали мне его. И проблемы начались сразу же.

Во первых, в коллекции пакетов нет webmin. Пришлось ставить ручками. Во вторых — вебмин «не работал». Проблема оказалась очень банальной — iptables перекрылывал доступ по всем портам, кроме 22го, открытого.

Бороться с этим нужно было так:

Открываем /etc/sysconfig/iptables и добавляем туда:

-A INPUT -p tcp —dport 80 -j ACCEPT

Есть и другие варианты написания правила открытия портов, но это базовое. Собственно 80й порт тоже был закрыт.

После этого запускаем:

/etc/init.d/iptables restart

Вуаля, работает.

Дальше началось следующее веселье — в федоре стоит SeLinux — это какая-то очень хитрая система защиты основанная на правах доступа. С включеной этой системой ничего не работало, точнее как минимум апач не имел доступа ни к чему. Есть вариант настройки прав для апача, но у меня почему-то не сработало. Поэтому пришлось её пока отключить совсем.

Отключается selinux так:

в файле /etc/selinux/config прописываем:

SELINUX=disabled

Как применить настройки без перезагрузки сервера я не понял, поэтому после этого перезагрузился и тогда апач+nginx заработали как надо.

Следующая проблема была с установкой модуля rpaf для апача, чтобы скрипты видели реальные айпишники. Про то, как решать эту проблему под freebsd я уже писал. Под линухом вышло немного сложнее — rpaf пришлось собирать руками.

Для того,чтобы поставить rpaf, нужно поиметь пакет httpd-devel:

yum -y install httpd-devel

Дальше делаем:

cd /usr/local/src
wget http://stderr.net/apache/rpaf/download/mod_rpaf-0.6.tar.gz
tar xzf mod_rpaf-0.6.tar.gz
cd mod_rpaf-0.6
apxs -i -c -n mod_rpaf-2.0.so mod_rpaf-2.0.c

Ну и дальше стандартно правим конфиги апача и nginx’а и перезапускаем оба.

Пока переношу всю инфу со старого сервера на новый, больше особых проблем не возникало, пока всё работает как часы.

***

Постовой:

Инструктор по вождению , Бесплатные объявления алматы, Алкоголизм.

***
Спонсор недели LinkFeed.

Оплатил новый сервер

1 x Xeon Quad Core 2.5Ghz, 4Gb, 2 x 160Gb SATA в конторе msm.ru. Посоветовал эту контору Владимир Лапшин. И всё это счастье всего за 6700р в месяц. У них сейчас открылся новый дата-центра на ВДНХ. Менеджеры-продажники работают весьма оперативно. К пятнице уже обещают поднять сервер. Будем развлекаться.

***

Хотел сходить сегодня на премию рунета и даже выиграл билет в конкурсе для подписчиков блогбука. Но не сложилось.

***

Постовой:

квартиры посуточно
Microsoft Office Standard Edition 2007
недвижимость в Киеве Читать далее

Новый сервер

В общем текущий сервер меня достал. Он проработал 1.5 года без проблем, но сейчас все харды загаженые, памяти не хватает и всё такое. Создание бэкапа всех данных занимает почти 2 часа. Так дело не пойдет. Решил брать новый севрер.

Но пока не понятно — где. У текущего хостера новых серверов пока нет, обещают только через пару недель. В целом, он меня полностью устраивает. Но сервер новый ждать очень долго. Но есть вариант взять сервер у другого хостера, про которого я ничего почти  не знаю. Там и сервера есть и цены чуток дешевле.

Моск уже от этого сильно болит. Правда решил, что на новом сервере будет Linux, а не FreeBSD. Под линух есть мнооого разного рода полезных софтин, как мониторинг сервера (железо, процессы, софт и прочее), так и проще настроить защиту от несложных DDOS атак.

Ну и плюс буду ставить Memcached и еще сильнее тюнить Nginx, т.к. трафик на проектах всё растет и растет. Да и скоро новый проект запускается, а там трафика может быть вообще немерянно, без перекеширования всего и вся там не вижить никак.

зы

Сайт подключили к Бегуну к Фотоконтексту, но вот инструкций как его прикрутить к сайту, так и не прислали. А попробовать то хочется. Должна быть неплохая конверсия. На письма не отвечают. Пришлось сегодня звонить в Бегун. Обещали выслать всё.

***

Постовой

семья
продвижение сайтов
вылечить простатит

Во что превратится этот блог

2 недели с сервером происходит какая-то хрень. LA местами подскакивает до 4 и больше, mysql начинает плодить треды из-за чего начинают плодиться процессы апача.

Такими темпами я скоро буду всё чаще писать об администрировании серверов. Ибо мучает мысль — а не взять ли новый сервер с двумя четырех-ядерными ксеонами и не поставить ли там Linux?

Пару раз сервер вообще вис. В общем начал я думать, что жопа с железом. Оказалось — нет. Во всем виноват мускуль и растущие запросы к базе и объемы таблиц. Начал курить че к чему. Методом несложных манипуляций сделал на части проектов файл-кеш, оптимизировал часть медленных запросов, перевел часть таблиц в InnoDB.

Заодно узнал очень много нового, например, про vBulletin, который какраз и генерил половину запросов к базе, которые убивали мускуль. Так, например, он сейчас поддерживает рекапчу, акисмет и мемкешед.

Сосбвенно жду когда в сервер добавят гиг оперативы и буду ставить мемкешед и разбираться с ним. Должен сильно помочь.

зы

Сегодня выкрутил для одного клиента одно очень жирное слово. Сайт по нему держался в топ 20 примерно 6 месяцев. И только сегодня вышел на 3е место. Заодно по более узкому но более точному слову на первое. Рад. Жалко, правда, что клиент — друг и выкручивал это дело по дружбе, а не за денежку.