QRZ.RU - что находится по ту сторону экрана

Вид для печати

13.10.2005, 13:05
R2AR

Вложений: 1

QRZ.RU - что находится по ту сторону экрана

В период с 8 по 11 октября был произведен апгрейд аппаратного и программного обеспечения сервера.

Вот как это было:

8 октября я прилетел в Москву, и встретился с RV3DHC. Антон мне передал серверную материнскую плату Asus PSCH-SR, которой решено было заменить десктопную Gigabyte GA-8PE667 Ultra.

В субботу около 14 часов дня я был в хостинг-центре с полным набором "железа" – был приобретен Pentium 4 Prescott 3,0GHz с шиной 800 MHz, а также два SATA-диска Seagate 250Gb c буфером 8 Мб и функцией NCQ

Я отключил QRZ и вытащил резервный винчестер, которому суждено было стать диском загрузки операционной системы. Затем я включил сервер снова чтобы не терять траффик и принялся собирать железо на новой материнке.

После включения новой материнки я отформатировал два свежекупленных диска в BIOS Setup'e, и запустил инсталляцию FreeBSD 5.4. К сожалению выяснилось, что система в упор не замечала харды подключенные к Adaptec AIC-8110 контроллеру. Поиски в гугле дали вот такой результат в котором сообщалось, что:

1. работающие в Windows-среде драйвера обеспечивают программный RAID, который плохо себя ведет при серьезных нагрузках
2. Разработчики Adaptec не предоставили спецификацию устройства, а значит драйвера под FreeBSD можно в общем-то и не ждать.

Пришлось подключать винчестеры к южному мосту ICH6R, собранному на чипе 6300ESB. Подключенные таким образом харды стали видны в системе как два независимых устройства. Дальнейшее преобразование их в программное "зеркало" было осуществлено системными командами операционной системы по описанию на CitForum

Поскольку 250 Гб - это объем дисков исчисляемый в гигабайтах, которые приняты среди астрологов, хиромантов и производителей дисков, то фактически после выполнения этих команд был поднят дисковый массив емкостью около 230 Гб. ;)

Затем пришлось отключить QRZ.RU уже надолго, чтобы обеспечить копирование всех файлов на новые диски. Второе отключение произошло в воскресенье около 17 часов. После копирования всех файлов со старых дисков я поставил в корпус новую материнскую плату. Потом последовало несколько этапов установки необходимых программных пакетов, обеспечивающих доступ снаружи по SSH и FTP-протоколам. К вечеру времени уже были "подняты" два виртуальных (man jail) сервера 62.181.33.2 и 62.181.33.3, на которых размещаются www.qrz.ru и mail.qrz.ru

С 9 до 14 часов дня понедельника был скомпилирован apache для www.qrz.ru со всеми необходимыми модулями для работы, и перенес MySQL-таблицы. После запуска виртуального сервера 62.181.33.2 выяснилось что часть разделов web-сервера не работает - какая-то странная проблема, из-за которого MySQL 4.1 не "видит" таблицы, созданные в сервере версии 4.0. Ох уж этот бесплатный софт :)

После обеда у меня были ряд встреч, после которых были приобретены два DDR DIMM модуля памяти 1 Гб фирмы Kingston. На хост-площадке был около 17.30, в течении 20
минут погасили сервер, переставили память. На момент написания этой статьи глюков замечено не было :)

И вообще сколько блин FreeBSD памяти не дай, она все сожрет :)

Вечером в понедельник работоспособность CMS-системы www.qrz.ru была восстановлена полностью, включая форум. Затем поставил на копирование с резервного бэкапа файлы 62.181.33.4

Во вторник был «поднят» виртуальный сервер 62.181.33.4, на котором хостуются страницы радиолюбителей.

Код:

Было Стало Gigabyte GA8PE667 Ultra Asus PSCH-SR/2GB/SATA Pentium4 1,8 GHz 533FSB Pentium4 3,0 GHz 800 FSB RAM 1Gb PC 2700 RAM 2Gb PC 3200 IDE RAID1 120Gb SATA RAID1 250Gb FreeBSD 4.9 FreeBSD 5.4

На фото - процесс инсталляции системы
13.10.2005, 13:38
R2AR

Вложений: 1

Процесс форматирования RAID-массива

RAID 1 - простое зеркало без кеширования
13.10.2005, 13:44
R2AR

Вложений: 1

Вид рабочего стола при форматировани зеркала

Форматирование зеркала - процесс небыстрый, на 250 гигов ушло около двух часов
13.10.2005, 13:46
R2AR

Вложений: 1

Вынимаем старую материнскую плату

Ранее стояла Gigabyte GA-8PE667 Ultra на 845-м чипсете
13.10.2005, 13:47
R2AR

Вложений: 1

Новая материнская плата упакована в корпус

Новая материнская плата упакована в корпус
13.10.2005, 13:49
R2AR

Вложений: 1

Вид сбоку

QRZ.RU - вид сбоку
13.10.2005, 13:50
R2AR

Вложений: 1

Подготовка к установке в серверную стойку

Подготовка к установке в серверную стойку
13.10.2005, 13:51
R2AR

Вложений: 1

Упакованный вид спереди

QRZ.RU в закрытом виде - корпус 2U - вид спереди
13.10.2005, 13:56
R2AR

Вложений: 1

Упакованный вид сзади

QRZ.RU в закрытом виде - корпус 2U - вид сзади
13.10.2005, 14:00
R2AR

Вложений: 1

Процесс запуска системы

RAID-массив в BIOS SETUP
13.10.2005, 14:02
R2AR

Вложений: 1

Окно загрузки системы сервера

Выбор вида загрузки. Типа как в Windows только с картинкой :)
13.10.2005, 14:06
R2AR

Вложений: 1

Модули памяти

Модули памяти установленные на сервере
13.10.2005, 23:52
Woodman

Мдя , не плохо, рад за нас всех :-))

Вопросец по ходу, а Бивис перешивали на матери?
а то их на данный момент для нее аж 4 штуки
Правда Бету версию шить не рекомдую, имеется печальный опыт :-(
14.10.2005, 07:34
R2AR

Нет, не перешивал. Особо времени не было - занимался апгрейдом в субботу и воскресенье, за пару дней нужно было переставить систему, и перетащить все настройки с бэкапа.

А что, кроме того что будет стоять последняя версия BIOS - это даст что-то в плане надежности/скорости ? Буду в следующий раз в Москве - можно и обновить, если будут для этого предпосылки.

Я обновлял BIOS в старых материнках только с одной целью - чтобы работать с хардами большого размера. В остальном же честно говоря разницы не заметил.

Вы работали с этой материнкой? Интересно знать отзывы сисадминов о ней
14.10.2005, 11:50
rus013

Правда сейчас Интел ставить дорого обходиться, дешевле и надёжне АМД64 серверный да и ОСЬ под 64 разряда можно поставить благо давно существуют уже.Интел давненько уже не котируеться как топовый камень и многие ставят только из за привычки.Ну я думаю этот апгрейд произойдёт в следующий раз когда потребуеться а сейчас всё пока работает великолепно.Хорошо что винда не стоит в качестве сервера а то загадиться моментально только успевай чистить её.
Спасибо за хороший и быстрый на данный момент доступ,труд не прошёл даром!
73!
14.10.2005, 13:06
RA3XCQ

А спереди в корпусе имеется шесть отверсий. Какой-то странной формы. Я таких, вроде как, не видал. Это подо что?
PS: Вы написали, что у Вас 2 винчестера.
14.10.2005, 13:44
Woodman

to Larry158
Это места для винчестеров или хотсвап корзин для них, в зависимости от типа корпуса
to UA9OTY
именно эту мать не тестил, просто быстродействие всей системы зависит от версии биоса(для асус проверялось).
а производителям делать больше нечего как биосы писать :-)
косяки они исправляют!
14.10.2005, 15:19
R2AR

Цитата:

Первоначальное сообщение от rus013
Правда сейчас Интел ставить дорого обходиться, дешевле и надёжне АМД64 серверный да и ОСЬ под 64 разряда можно поставить благо давно существуют уже. Интел давненько уже не котируеться как топовый камень и многие ставят только из за привычки.

Это верно - на AMD я посматриваю косо еще с тех времен когда у них на кристалле не было термодатчика, из-за чего процессора горели только из-за криво поставленного радиатора, или скажем если термопаста высохла. Плюс к тому они потреб ляли энергии как хорошая лампочка :) чтото около 150Вт кажется. Где-то видел даже фотографию как один умелец вместо кулера нацепил подставку из фольги в которой жарил яишницу :)

Хотя у моего друга AMD64 давно используется без нареканий. Великая сила привычки как говорится :)

Цитата:

Первоначальное сообщение от rus013
Ну я думаю этот апгрейд произойдёт в следующий раз когда потребуеться а сейчас всё пока работает великолепно.

В любом случае с появлением многоядерных процессоров (я не про гиперпупинг, а про честные два физических ядра) нужно будет собирать SMP-конфигурацию, с которой как мне известно пока у FreeBSD не все гладко. Кстати сейчас на процессоре HT отключено, хоть он и позволяет это делать.

Цитата:

Первоначальное сообщение от rus013
Хорошо что винда не стоит в качестве сервера а то загадиться моментально только успевай чистить её.

Свят-свят-свят :) Можно долго спорить про "суммарную стоимость владения", на которую напирают фанаты Windows, про преимущества гибкости .NET-технологии, но честно говоря *nix-архитектура по мне предпочтительнее - она так построена, что на одном и том же железе даст больше возможностей ;) Или скажем наоборот - при той же нагрузке потребует меньше ресурсов ;)

Цитата:

Первоначальное сообщение от Larry158
А спереди в корпусе имеется шесть отверсий. Какой-то странной формы. Я таких, вроде как, не видал. Это подо что?

Вообще говоря это серверный корпус от SCSI-RAID массива. Шесть ячеек под горячую замену дисков. Правда SCSI-планка обеспечнивающую эту функцию была убрана, поскольку купить SCSI-зеркало на 250 гигов серверу пока не по карману :) . К тому же надо сказать пока в этом нет необходимости. Преимущество IDE/SATA интерфейсов - в его относительной дешевизне. Этот тип интерфейсов оптимизирован под линейное чтение, в то время как конек SCSI - быстрый рандомный доступ.

Да, я говорил что в "зеркале" (RAID-массив первого уровня) участвует два диска. Еще один стоит для системной загрузки и временных файлов + один для хранения бэкапа важных данных (например базы данных). Таким образом итого воткнуто четыре диска. Два лотка свободно.

Сейчас на зеркале свободно около 130 гигабайт. Таким образом, можно больше вместить радиолюбительских страниц. Кому нужен хостинг - обращайтесь. Правила простые - радиолюбительская тематика, без warez/porno. Дисковое пространство делится между всеми участниками. То есть каких-то конкретных ограничений не ставится, но если будет забито все пространство - начну удалять самые большие файлы :) А то чего придумали - некоторые юзеры ISO-образы CD-ROM дисков начинают размещать на своих сайтах ;)

Цитата:

Первоначальное сообщение от Woodman
именно эту мать не тестил, просто быстродействие всей системы зависит от версии биоса(для асус проверялось).

О! Не знал. Ладно, при оказии буду в хостинг-центре с дискеткой - перепрошью
14.10.2005, 15:30
RA3XCQ

У Вас 2 порта по 1 Гигабиту. (в секунду, я полагаю). А первичный поток Е1 - 2 Мегабита в секунду. Вы через гигабайтные порты подключены к интернету?
14.10.2005, 15:39
R2AR

Вложений: 1

Увы, подключение только по одному порту 100Мбит/сек, full duplex - это ограничение свитча провайдера, у него нет гигабитных портов.

При необходимости второй порт можно использовать для организации транкового канал (когда используется оба сетевых адаптера с балансировкой нагрузки). Но пока и этого тоже не требуется, в среднем сервер выдает около 10 Мбит/сек, в пиках - 20Мбит/с, ночью падает до 2-3 МБит/сек.

В прошлом месяце нагенерил около двух терабайт траффика, поэтому даже о 200Мбит/с канале речь заводить рано, не говоря уж про гигабитный порт

В аттаче - картинка исходящего траффика до апгрейда
14.10.2005, 15:41
Woodman

Бета версию не шейте, печальный опыт, только его величество программатор спас.

Вообще у асуса последняя версия не означает накопительства исправлений, надо прошивать последовательно от младших версий к старшим, минуя бета версии(на то они и бета, экстремальщики млин)
14.10.2005, 23:41
RA4HTH

Вложений: 1

Удивительно! На таком простом оборудовании - такой хороший сервер.
Надо отдать должное администратору.

У меня в провинции на три десятка клиентов локальной сети, руководство закупает вот такую железяку:
16.10.2005, 14:10
R2AR

Очень неплохо. Есть к чему стремиться :)

Вчера утром сервер перестал отвечать. Как оказалось, железо просто перегрузилось само по себе, а fsck не смог решить все проблемы из-за unexpected soft update inconsistensy. Сегодня проблему решили (знакомый пришел ногами в хостплощадку и в single-user mode запустил fsck -y /dev/ar0s1d. Надолго - пока не знаю.

Предположительные причины:

1. В плохой памяти (лечится заменой) - сейчас принудительно снизили частоты опроса до DDR266
2. Плохой теплопроводящий контакт радиатора CPU -лечится каплей пасты КПТ-8
3. В плохой архитектуре материнки (мля, это финиш - если перепрошивка BIOSа не поможет, нужно менять материнку, а это уже все медленно и печально)

В логах - девственная пустота, сервер спокойно занимался своими делами, потом бац - сообщение о перезагрузке.

Any ideas?
16.10.2005, 22:44
Woodman

Блок питания проверьте, их вроде даже два. 90 процентов непоняток с новым железом проявляется из за недостатка или предельного уровня мощности БП.

Упс. вернулся и повнимательней все рассморел, замена с 1,8 на 3,0 это сурьезно, да и свежие харды меньше не едят, вывод напрашивается 300 Ватт как то не то.

Штатный интеловский радиатор с пропеллером разве что карлсону пойдет, для сервака это мовитон, треба чего нить другого, более осязаемого в плане надежности.

Как же без КПТ???

Смотря какие задачи на сервере запускать, если в терминал десятка три юзверей загнать с 1С, то даже вышеозначенный брэнд за 3 косоря зелени сделает ручкой :-)

ps а бивиса с батхедом шить выше означенным мной методом, как это не печально. У интела с матерями кривизна бывает еще больше так что рассраиваться не стоит.

Все проходит и это пройдет.
17.10.2005, 08:26
R2AR

Цитата:

Первоначальное сообщение от Woodman
Блок питания проверьте, их вроде даже два. 90 процентов непоняток с новым железом проявляется из за недостатка или предельного уровня мощности БП. Упс. вернулся и повнимательней все рассморел, замена с 1,8 на 3,0 это сурьезно, да и свежие харды меньше не едят, вывод напрашивается 300 Ватт как то не то.

Мне кстати вчера RA3AQ тоже самое сказал - 3ГГц процессор съедает свыше ста ватт мощности, в то время как 1,8ГГц по его прикидкам около 60Вт. Вот и получается что только одна замена процессора вынуждает заменить блок питания.

Цитата:

Первоначальное сообщение от Woodman
Штатный интеловский радиатор с пропеллером разве что карлсону пойдет, для сервака это мовитон, треба чего нить другого, более осязаемого в плане надежности.
Как же без КПТ???

Ткните пальцем плс на URL какой кулер рекомендуете? Чтобы в 2U влез - то есть по высоте не должен превышать штатный боксовый кулер.

Насчет КПТ - уже понял что намазанный пятак на боксовом кулере не самый лучший теплоконтакт дает. Лучше намазать побольше КПТ-8.

Цитата:

Первоначальное сообщение от Woodman
Смотря какие задачи на сервере запускать, если в терминал десятка три юзверей загнать с 1С, то даже вышеозначенный брэнд за 3 косоря зелени сделает ручкой :-)

ps а бивиса с батхедом шить выше означенным мной методом, как это не печально. У интела с матерями кривизна бывает еще больше так что рассраиваться не стоит.

:) Обнадежили. На сервере запускаются все больше как-то MySQL, Apache для обслуживания www-траффика, proftpd - но он вообще копейки от загрузки CPU кушает. Плюс echolink-proxy через java run-time машину, но там тоже не сильно много ресурсов съедает. Основная нагрузка - это действительно MySQl+Apache

Цитата:

Первоначальное сообщение от Woodman
Все проходит и это пройдет.

Хотелось бы побыстрее все вопросы решить чтобы работало не только быстро но и надежно. RA3AQ говорит что в Москве можно купить хотсвап модули для более мощного блока питания ватт этак на 500-600, чтобы уж с запасом было. В какую контору с этим вопросом стоит обратиться?
17.10.2005, 09:18
UA9KAA

Цитата:

Первоначальное сообщение от UA9OTY
Лучше намазать побольше КПТ-8.

Вот побольше не надо. Надо ровно столько, сколько надо. Толстый слой становится теплоизолятором, после какой-то толщины. Проверено на мощных транзисторах строчной развертки телевизоров.
17.10.2005, 13:02
YL2MK

Здорово !

Все посмотрел. Большая работа проделана, молодцы!
17.10.2005, 22:15
Woodman

Про КПТ действительно тонким слоем нада
надо максимальную высоту знать, даже 2U корпуса отличаются, посмотрю завтра что у нас есть и линейкой со штатным кулером сравню. Если найду отпишу какая модель.

Просто я прежде чем сервер запускать его тестами нагружаю по самое...
Винда тоже один из тестов ;-) особенно с установкой сервиспака.

или делаещь архив гигов несколько, а потом бат файл и тестировать его rar ом в цикле на ночь
17.10.2005, 23:01
RA4HTH

Цитата:

3ГГц процессор съедает свыше ста ватт мощности

У меня на домашнем компьютере стоит точно такой процессор.
Пришлость поставить дополнительный приточный вентилятор на боковой стенке корпуса напротив кулера процессора.
Температурный режим резко улучшился.
19.10.2005, 06:12
EX8AB

Уважаемые Админы!
Снимаю шляпу и ни-и-и-изко кланяюсь!
СПАСИБО за труды!!!
Успехов!!!
19.10.2005, 16:40
Woodman

http://www.glacialtech.ru/catalogue.aspx?pnum=7191

думаю этот должен залезть по высоте, у штатного примерно 62 мм высота, думаю небольшое простраство найдется.
19.10.2005, 17:10
R2AR

2 Woodman: Ок, спасибо за линк.

Порекомендуйте БП 500Вт 2*1U в хотсвап корзине. Они вообще в природе существуют дешевле $400? А то как ни посмотрю, все как-то 500-600, например http://emacs.ru/index.php?page=produ...name=R2W-6500P - этот около $550

2 Bek: Был я кстати в Бишкеке этим летом. Ошский рынок - это что-то :) Еще запомнилось что у вас маршрутки вообще без остановок ездят - где скажешь там и остановятся :) Вот тут наш отчет
19.10.2005, 17:33
Woodman

к сожалению по поводу дешовых БП это всегда в ущерб надежности, для серверных решений не видел китая в принципе. Можно ограничиться 400 ватами мощности, конечно запаса не будет, но для данного конфига вполне пойдет

указанный девайс на прайсе ру в москве 630 енотов
есть подобные с меньшей мощностью, только там с габаритами нестыковки, возможно прийдется напильником дорабатывать ;-))
20.10.2005, 06:49
EX8AB

Цитата:

Первоначальное сообщение от UA9OTY
[/B]
2 Bek: Был я кстати в Бишкеке этим летом. Ошский рынок - это что-то :) Еще запомнилось что у вас маршрутки вообще без остановок ездят - где скажешь там и остановятся :) Вот тут наш отчет [/B]

Ну-у-у-у-у, ребята, вы даёте!
С удовольствием прочитал весь материал. Класс!!!
Причем, вы проехали те места, где я (практически все) жил или был. Родился я в г.Нарын (случайно - родители жили в г.Фрунзе - ныне Бишкек). Долгое время проживал на южном берегу Иссык-Куля, в пос.Каджи-Сай, на 20 км дальше с.Бокомбаево, о котором вы упоминаете. За 2004-2005 годы по работе объездили все регионы. И Нарынские перевалы, и те места, где вы останавливались, и Сосновка, и Суусамыр. У меня даже фотографии такие же, как у вас.
Короче, МОЛОДЦЫ!
Успехов!
Будете у нас на "Колыме", милости просим! Пиво и проч. с меня!
03.11.2005, 18:43
RK3AQW

одним словом неслабо ,
с великим почтением приклоняюсь
17.11.2005, 13:06
RADIO2005

здорово!!!
07.12.2005, 20:43
RU3DNN

Бек, дорогой!
Ваш город - ЧУДО! :клево:
Я там был два года назад, возили толпу базу в Канте открывать, приём отличный, кормили экипаж даром! Такое не всегда встретишь.. :beer:
Да, в обменном пункте понравилась табличка: "Принимает старые, ветхие американские $ , погрызанные мышами". Неужели грызут, гады... :kill:
А рынок Ош - это нечто.. :)
08.12.2005, 14:33
EX8AB

Цитата:

Сообщение от RU3DNN Павел

Бек, дорогой!
Ваш город - ЧУДО! :клево:
Я там был два года назад, возили толпу базу в Канте открывать, приём отличный, кормили экипаж даром! Такое не всегда встретишь.. :beer:
Да, в обменном пункте понравилась табличка: "Принимает старые, ветхие американские $ , погрызанные мышами". Неужели грызут, гады... :kill:
А рынок Ош - это нечто.. :)

Приветствую, Павел!
Спасибо за хорошие слова. Кстати, так называемый Ошский базар еще не самое примечательное место. Есть еще рынок "Дордой" на окраине города. Так вот там даже алмаатинцы отовариваются.
Летом были москвичи. Сходили туда на экскурсию и тут же побежали обратно за кошельками. По-моему, их заинтересовали дубленки. Выглядят, мол, под "фирму", достаточно хорошего качества, не хуже тех, что продаются в МСК, а цены ниже чуть ли не в полтора раза.
Да простят меня Админы за такую рекламу.
Милости просим всех в гости. Отдохнуть на Иссык-Куле, побродить по живописнейшим горным местам, "постучать" с какой-нибудь горы или лучше с берега какого-либо горного озера! Запомнится на всю жизнь!

ЗЫ. Ну и конечно же свои монеты оставить здесь :ха-ха: . Оно того стОит!!!
08.12.2005, 15:20
R2AR

Вложений: 5

Цитата:

Сообщение от Bek

Да простят меня Админы за такую рекламу.

Начинаем негромко PR'ить городской рынок :)

Во вложении - несколько фотографий

1. По дороге в Бишкек часто встречаются рынки прямо у дороги. Дыни/арбузы вагонами лежат ;)
2. За ~20 км от Бишкека начинается непрерывная вереница поселков, границ между которыми вообще не видно. Это я возле указателя
3. и 4. "Тот самый" Ошский рынок
5. "Знаменитая" площадь которую показывали по ТВ весной когда революция была
08.12.2005, 15:28
EX8AB

Цитата:

Сообщение от UA9OTY

5. "Знаменитая" площадь которую показывали по ТВ весной когда революция была

Не совсем так. Это площадь перед Государственной Филармонией. А Центральная площадь, виды которой в марте этого года обошли все телеканалы мира, в двух кварталах.
12.12.2005, 10:44
RU3DNN

Много красивых мест в бывшем СССР...
Часто они бывают так рядом!
Отвлеклись от темы