?

Log in

High Load WebProjects' Journal

Friday, May 16, 2014

3:06AM - Конференция HighLoad++ 2014 - где и как?

Мы стартуем подготовку к осеннему HighLoad++, хочу посоветоваться

Хайлоад растёт вот уже четыре года подряд.
  2010 -> 735 участников, Инфопространство;
  2011 -> 754 участника, Инфопространство;
2012 -> 1049 участников, Рэдиссон SAS Славянская;
  2013 -> 1266 участников (основная программа) + 483 (учебный день) + 113 (VIP-день), тоже Рэдиссон;


В этом году мы попробуем пробить планку в 1600 - 2000 участников на основную программу.


Вариантов для места проведения два:
1. Центр Международной Торговли (на Краснопресненской набережной), 31 октября и 1 ноября (пятница и суббота);
2. Рэдиссон SAS Славянская (на Площади Европы), 17 и 18 ноября (понедельник и вторник).


У ЦМТ есть ряд преимуществ - это новая для нас площадка, она интересная, хорошая и большая. Даты пятница и суббота для нас тоже новые - мы так ещё не делали, хотя некоторые наши коллеги уже давно проводят свои мероприятия именно так. В приложении грубо сработанная фотка - как HL++ мог бы выглядеть в ЦМТ, выглядит круто  Опять же, из ЦМТ проходят все телеконференции Владимира Путина, а сейчас важно быть в тренде

HL++ в ЦМТ

У Рэдиссона потолок - 1600 человек, больше будет уже очень тесно. Это хорошо знакомая нам площадка, но даты в ноябре! Обычно HL++ проходит значительно раньше, это смущает. В Рэдиссоне можно развернуться значительно круче - он значительно дешевле, за те же деньги мы можем позволить себе и плазмы в виде экранов и большее число западных звёзд. Но с другой стороны Рэдиссон немного надоел :)

Обе даты не пересекаются ни с чем крупным, ни с международными, ни с российскими конференциями.
Что думаете? Буду благодарен за мысли и комментарии.


И докладчиков прошу подавать доклады - уже ПОРА!

Tuesday, February 11, 2014

7:33PM - расскажите о себе

А расскажите как ваш проект стал highload? Как вы это поняли?


Запись сделана с помощью m.livejournal.com.

Monday, December 9, 2013

2:28AM - слегка offtopic, но всё же для аудитории highload (про выбор ISP с точки зрения гика)

По мотивам своих хотелок написал открытое письмо к ISP на основе письма к очередному провайдеру в нашем микрорайоне предлагающему очередной вариант побыстрее и подешевле вот тут:

http://grey-olli.livejournal.com/782450.html (открытое письмо к провайдерам интернет в Москве [по мере получения комментариев пост будет обновляться])

Речь там идёт об услугах ценных, на мой взгляд, для гиков, врпрочем не только.

Хотел бы узнать Ваше мнение - насколько актуальны для Вас как IT специалистов те услуги, о которых я пишу как "killer feature" с моей точки зрения.

По возможности, просьба откоментировать у меня, врочем если Вам проще ответить тут - Ваше мнение я всё равно постараюсь отразить в своём открытом письме.

Надеюсь модераторы простят мне некоторый offtopic:
Вообще-говоря по url выше почти нет ничего про highload (кроме контекста = ISP), зато именно в ru.highload наверняка много представителей провайдеров, в том числе тех, которые пытаются отвоевать у больших игроков своё место под солнцем.

Всвязи с постом по url выше, у меня вопрос к представителям провайдеров Москвы:

В первую очередь к тем, кто относительно недавно на рынке (менее года, менее 5ти лет) - насколько Вы готовы рассматривать реализацию услуг, которые я обозначил
как killer feature для таких как я - для гиков? Или даже для вашего небольшого провайдера реализация упомянутых в моём посте услуг находится в графе неадекватно потраченное время?

Во вторую очередь к тем, кто относится к ISP членов больших холдингов (билайн, МТС, Ростелеком, АКАДО и другие крупные игроки Москвы) - готовы ли Вы в основном в рекламных целях реализовать набор услуг, который даст Вам репутацию не просто ISP,
а ISP в котором комфортно и для гиков?

Wednesday, December 12, 2012

8:24PM - сколько стартует кластер?

Несколько абстрактный вопрос - сколько времени длится холодный старт какого-нибудь кластера из первой десятки ТОП500?

Tuesday, October 9, 2012

3:42PM - Осенний Форум Технологий: фокус на веб-разработку

Мы приглашаем вас на главное технологическое событие осени — Форум Технологий Mail.Ru Group.

Что будет: 24 доклада, три потока, гигабайты информации о самых актуальных трендах и веб-технологиях. На Форуме российские и зарубежные специалисты будут говорить о том, как использовать самые свежие и горячие разработки в собственных проектах.

Выступающие: эксперты Mail.Ru Group, Google, Opera Software, Ajax.org и других крупнейших IT-компаний.

Форум охватывает спектр тем от NoSQL и облачных технологий до языков, трендов и приемов программирования, а также управления веб-разработкой. В частности, на Форуме Технологий прозвучат:

- рассказ о том, как работает машинное обучение на практике, а не в теории;

- доклад о проблемах передачи голоса и видео от одного из немногих экспертов, знающих эту область изнутри;

- выступление, посвященное Node.js (технологии, отмеченной премией Technology of the Year) — на высоконагруженных проектах.

Подробности и регистрация — на http://techforum.mail.ru/.

Внимание! Участие в Форуме бесплатное, но количество мест ограничено. Судя по прошлому Форуму, желающих будет много, так что торопитесь!


Дата и время: 17 октября 2012 года, 10:00

Адрес: выставочный центр ИнфоПространство, г. Москва, 1-й Зачатьевский переулок, дом 4

Ждем вас!

Thursday, August 30, 2012

5:27PM - Оптимизация XFS

Коллеги, подсобите, мозг сломал.

Есть XFS на 2.0 TB raid50, CentOS 6, noatime,nodiratime,logbufs=8,inode64,logbsize=256k,delaylog,nobarrier

Профиль нагрузки - 49% - запись, 49% - чтение только что записанного, 2% - случайное чтение.
Пишем в 15-20 потоков файлики до 1-2 мб.
В какой-то момент xfsbufd начинает занимать 100% io bandwidth.
Приложение, которое пишет на диск, начинает 99% времени тупить в open(O_WRONLY|O_CREAT|O_TRUNC).

Что бы где подкрутить, что бы запись была может быть более медленная, но более ровная?

Sunday, August 5, 2012

11:45PM - Вопрос о хранилище для большого количества мелких файлов.

Есть задача построить хранилище емкостью 50ТБ с возможностью роста 100ТБ и выше.
файлы мелкие от килобайта до нескольких мегабайт. Что-то подобное хостингу изображений.
Файлы в основном читаются, иногда добавляются, практически не удаляются.
То есть операции чтения - это 99,9% всех операций.
10-20 клиентов могут одновременно произвольно запрашивать файлы из хранилища.
Первое требование - низкая задержка при параллельной работе клиентов.
Возможно, файлам потребуется прямой (произвольный) доступ со стороны клиентов (чтение).
Отказоустойчивость приветствуется, но это не отменит резервного копирования.
Есть желание выбрать разумный вариант между затратами и характеристиками.
Клиентами будут Linux машинки (например NFS тома) и под Windows (опосредованый доступ через SMB), в зависимости от специфики ПО.
Есть мечта получить разумные io waits, при скорости прокачки файлов хотя бы сравнимых с локальными дисками - чтение 40-80мб/с уже неплохо. Больше на гигабите и не расчитываю. Надо будет - можно подумать о 10гбит линках.
Скорость записи не важна  - схема с пишущим MDS сервером вполне подойдет. Отслеживать коллизии по записи не придется (писать будет один процесс). Блокировки не нужны.

Пока видится примерно такая схема: несколько хостов с аппаратными/программными RAID массивами и поверх них Lustre или Gluster. Все остальные варианты распределенных файловых систем мне показались менее очевидными.

К ним коннектятся Linux сервера в качестве клиентов, и если надо, для Windows шарят тома через Samba.
Gluster понравился тем что является лишь прослойкой, вниз можно положить EXT3/EXT4 и файлы будут доступны, даже если Gluster вдруг "испортится". Но отзывы про него противоречивые - кто хвалит, кто ругает.
Lustre, похоже, рабочий вариант, но более сложный. Но вроде как больше не развивается - это настораживает.

Посоветуйте, что выбрать с точки зрения производительности и надежности.
Или быть может все же стоит метнуться на целиком аппаратные СХД, что значительно выйдет дороже?

UPD:
1. клиенты используют файловые операции доступа к файлам, "переобучить" их вряд ли возможно.
2. хранилище организуется на закупаемом собственном оборудовании.
3. бюджет видится в районе $50000-$80000

Wednesday, July 4, 2012

6:27PM - Приглашаю завтра всех на встречу докладчиков!

Вход свободный, ждем всех желающих!

Tuesday, July 3, 2012

10:33AM - отдать гигабит

Добрый день, если сообщество еще живо.

Есть задача - отдать гбит и более статики. В идеале, разнести раздачу на несколько площадок и отдавать каждому клиенту с ближайшей к нему.

Как нынче такое принято делать?

Sunday, May 13, 2012

11:45AM - ГЛИСТЫ МУТАНТЫ В КЕФИРЕ ЭТО ЖЕСТЬ!!!!

Оригинал взят у akapulo в ГЛИСТЫ МУТАНТЫ В КЕФИРЕ ЭТО ЖЕСТЬ!!!!

ГЛИСТЫ МУТАНТЫ В КЕФИРЕ ЭТО ЖЕСТЬ!!!!

Wednesday, May 2, 2012

2:25PM - Мутные схемы детского питания в школах Врачи бьют тревогу: найти полностью здорового ребенка сейч

Мутные схемы детского питания в школах


Врачи бьют тревогу: найти полностью здорового ребенка сейчас практически невозможно. Родители обеспокоены ухудшением питания в школе, где их дети проводят большую часть времени. Контролирующие инстанции вынуждены с ними согласиться. Недавно проведенная городским Роспортребнадзором выборочная проверка петербургских школ выявила 57 грубейших нарушений в организации питания детей – от несоответствия ГОСТАм до реализации откровенно просроченных продуктов. Тем временем власти рапортуют о ежегодном увеличении бюджетных расходов на социальное питание. Но как у нас зачастую бывает, больше – не значит лучше. По крайней мере, не для детей.

Причина этих проблем в Петербурге кроется в запутанной, мутной системе организации детского питания в школах. И очень странном руководителе системы - Натальи Петровой.
В Петербурге детское питание организовано на базе собственных нормативных актов, разработанных при участии Управления социального питания в 2008-2009 годах. И эти самые акты зачем-то противоречат Федеральному закону о госзакупках, который предполагает выбирать поставщика услуг по соотношению цена/качество
В Петербурге же финансирование расходов на организацию питания для всех детей зачем-то идет по линии социальной поддержки малообеспеченных семей. Иными словами, у поставщика не закупается услуга по поставке продуктов и готовке обедов, а ему компенсируются затраты на предоставление питания льготникам. В качестве же дополнительного бонуса за выполнение важной социальной миссии бизнесмены получают право кормить других детей уже на коммерческой основе, причем помещения школьных столовых предоставляются им даром. Такая необычная юридическая схема позволила чиновникам, обойти требования федерального закона и провести отбор фирм по своему усмотрению, дополнив конкурсную документацию различными специфическими требованиями, соответствовать которым могли только определенные фирмы. В условиях конкурса, установленных Управлением социального питания, было немало необычного. Например, до него допускались только те фирмы, которые готовы были проводить переоснащение пищеблоков. Требование на первый взгляд немаловажное, если только не брать в расчет то, что на тот момент в городе уже заканчивалась реализация комплексной программы модернизации оборудования школьных столовых. Комитет по образованию тогда ценой титанических усилий за 4 года оснастил новым оборудованием 695 школ, на что из бюджета было потрачено 450 млн.рублей. В результате столь «предвзятого» отсева в 2009 году победителями конкурсов стали всего несколько компаний, получивших монопольное право в течение 3-х лет кормить детей во всех школах, да еще и на новеньком оборудовании, не вкладываясь в его замену. А приятным дополнением к возможности зарабатывать на торговле обедами стало около 3 млрд.рублей, выделенных на питание льготников.
Срок заключенных контрактов теперь истекает, но новые конкурсные процедуры снова будут проходить по тем же странным правилам, активно поддерживаемым руководителем системы Натальей Петровой. Если, конечно, новое городское руководство не решит, что здоровье детей важнее, чем благополучие отдельных предприимчивых работников и узкого круга коммерсантов.

Wednesday, April 4, 2012

4:54PM - Приглашаем на Форум Технологий Mail.ru Group

24 апреля 2012 года состоится одно из самых заметных IT-событий 2012 года – Форум технологий Mail.Ru Group. В рамках конференции опытом поделятся западные эксперты и ведущие специалисты из числа сотрудников компании.

Приглашаем на мероприятие системных и сетевых администраторов, специалистов по безопасности, руководителей IT-департаментов, технических директоров, а также профессионалов в иных областях информационных технологий, которым интересно расширить кругозор и воспользоваться опытом коллег.

На мероприятии будут обсуждаться вопросы системного администрирования, распределенного мониторинга, виртуализации, криптографии, оценки уязвимости систем. Докладчики рассмотрят технологии и эффективные инструменты, прошедшие проверку масштабными проектами. Форум технологий пройдет уже в третий раз; теперь мероприятие планируется проводить дважды в год, весной и осенью.

Среди докладчиков Kris Buytaert, один из основоположников DevOps. Buytaert расскажет о семи полезных opensource-инструментах, которые должны быть в арсенале системного администратора, а во втором докладе поделится опытом построения решений с использованием БД-кластера MySQL-HA и Linux-HA Pacemaker и поведает о плюсах и минусах различных схем масштабирования баз данных.

Свои доклады и лекции также представят Garrett Honeycutt, эксперт PuppetLabs, консультант в области веб-разработки Joshua Thijssen и Jan-Piet Mens – автор масштабного труда, посвященного альтернативным DNS-серверам.

Полный список докладчиков доступен на сайте мероприятия.

Участие в Форуме бесплатно; зарегистрироваться можно, перейдя по ссылке

Friday, February 24, 2012

2:13PM - Ищем толкового и адекватного админа на сложный HighLoad проект

Российская IT-компания "Онлайн решения" (Online Solutions) (сейчас CEZURITY), специализирующаяся на информационной безопасности, приглашает в свою команду толкового системного администратора, который способен обеспечить отказоустойчивую и быструю работу облака нашего антивирусного продукта.

Город: Санкт-Петербург.

Занятость: полная; работа в офисе (ст. м. пл. Мужества).

Помощь при переезде в Санкт-Петербург и аренде жилья.

Вакансия: Системный администратор


Задачи:


Требования:


Условия:


Текст вакансии на hh: http://hh.ru/vacancy/5490081

Saturday, February 4, 2012

8:17PM - Стабильность redis как кэша

Посоветуйте, стоит ли использовать redis как замену memcache?
Стабилен ли redis?

Желание заменить шило мылом возникло по причине желания сбрасывать кэши по тегам и неумения мемкеша делать это без костылей.

Monday, December 5, 2011

12:24PM - mysql load-balancing, multi-master replication

Всем привет.
Хотел бы обсудить схему, насколько она вообще пригодна для продакшена?
Два mysql сервера настраиваются для репликации друг на друга. Перед ними ставится haproxy, который на уровне tcp балансирует на них запросы.
Проверка доступности осуществляется через отдельный сервис висящий на каждом db сервере, и проверяющий Seconds_Behind_Master, если не 0 то haproxy выключает дб сервер из балансировки.

Какие подводные камни могут быть при такое схеме?

У кого-то есть удачный опыт использования mysql-proxy, sqlrelay ? Может быть еще есть что-то для load-balancing'а под mysql?

Tuesday, November 22, 2011

9:40AM - Конференция пользователей Sphinx, скоро в Питере!

Учитывая количество народа пришедшего на прошлогоднюю сфинксоводческую конференцию в Москве, командование Sphinx'а приняло решение о проведении второй, теперь уже ежегодной, встречи пользователей Sphinx search. В этот раз вся команда Сфинкса соберется в Питере, чтобы в воскресенье четвертого декабря встретиться с теми, кто придет по адресу Московский проспект д. 143 к 11-ти утра в конференц-зал Ленгипротранса.

Зачем приходить?

Прежде всего для того, чтобы послушать как Андрей Аксенов (основатель, главный разработчик и идеолог поисковой системы Sphinx) будет рассказывать про свое детище так, как он один это умеет. Уже одно его выступление мне кажется достаточным поводом для того, чтобы доехать до метро "Электросила" в воскресный день, а оно там будет не одно. Парни из avito.ru будут рассказывать о том, как жить с высокими нагрузками, наши товарищи из Ivinco поделятся про свой опыт использования Sphinx в их работе.
Read more...Collapse )
Кроме этого мы расскажем, что нового мы сделали за последний год и что у нас в планах. Полный список докладов мы опубликуем на страничке конференции.

Оставляя в стороне сами доклады, участие во встрече даст участником редкую возможность вживую поговорить с командой Сфинкса: разработчиками, инженерами поддержки, консультантами и получить ответы на свои вопросы из первых рук.

Всем кто пользуется или только планирует попробовать Сфинкс, я бы крайне рекомендовал посетить это событие. Вполне возможно, что после Питера в Россию эта конференция вернется нескоро.

Ах да, участие во встрече бесплатное, нужно только зарегистрироваться.

Распространение информации о конференции (вконтакте, facebook) всячески приветствуется!

Ждем вас в Питере!

Friday, November 4, 2011

11:48PM - Проблемы с memcached?

Здравствуйте.

Есть проект, для работы используется связка nginx + php-fpm + memcached + MySQL на другом сервере.

Недавно проводили работы по оптимизации, после чего возникла проблема, которая проявляется только при нагрузке (то есть при тестировании её не выловили).

Изменения: Есть большая таблица с данными о пользователях.
После оптимизации появилась возможность получать из мемкеша данные из этой таблице по следующим ключам
- логин пользователя (возможны русские символы, пробелы)
- сессия пользователя (шестнадцатеричная строка)

Проблема: через пару минут после обновления файлов начинает отваливаться по таймауту бэкэнд
upstream timed out (110: Connection timed out) while connecting to upstream
Судя по slow log php-fpm, затык происходит на функциях, где используется memcached.

Накидайте, пожалуйста идей, в чём может быть проблема с советами.

P.S. Пока писал пост, пришла в голову мысль о пробелах в именах. С утра проверим.

UPD. Всем спасибо за комментарии и помощь. Проблема была решена. Основной причиной были пробелы в ключах.

Wednesday, September 28, 2011

3:05PM - storage для web cluster'а

Добрый день.
Есть web сайт, 1 fontend - nginx, 3 backend - apache(mod-php). linux. На fontend сервере находятся все файлы сайта (статика и скрипты), на backend сервера storage подключается по NFS. На NFS сервер идет до 8000 getattr запросов в сек. На диски storage идет в среднем 50 iops. На nginx приходит до 1500 запросов в сек. 500G данных.
Хочется решить две задачи: обеспечить отказоустойчивость storage, и избавиться от большого числа запросов по сети от backend серверов(вроде как идет актуализация кэша, данные почти все в кэш памяти), есть признаки, что это тормозит работу apache.
Теории начитался, а примеров использования на таких задачах не знаю.
Посоветуйте пожалуйста решения под такие нагрузки. Что может быть лучше NFS?

Tuesday, September 27, 2011

3:53AM - Последние анонсы и реклама ;)

Как и в прошлом году конференция HighLoad++ обещает стать крупнейшим профессиональным мероприятием осени для веб-разработчиков. Несколько сотен участников, два полных дня докладов, фуршет от IHC.RU для неформального общения и многое другое.

Доклады от ВКонтакте, Skype, Badoo, Комсомольской правды, Одноклассников, Amazon, Mail.ru, Parallels, Alawar, HighLoad Lab, Мамбы, Google, Facebook, Microsoft, Yahoo, OmniTI, SkySQL, Percona и многих других компаний, которые сталкиваются с высокими нагрузками ежедневно!

В этом году у нас почти нет докладов об общей архитектуре высоконагруженных систем - трехзвенная структура, репликация и шардинг, масштабирование - все это стоит изучить в рамках домашнего задания по подготовке к конференции. Через неделю мы будем говорить о деталях - хитрые (но не коварные ;) способы кэширования, системное администрирование, решардинг, NoSQL (как за, так и против!), неблокирующиеся сервера, потоковое видеовещание, решения для пиковых нагрузок в СМИ, рассылка миллионов писем в день, использование AJAX, секреты сборки мусора и низкоуровневая оптимизация

Именно поэтому мы и называем нашу конференцию профессиональной - это реальная возможность получить уникальные знания и пообщаться с гуру.

Кроме непосредственного участия в конференции у Вас есть еще две возможности: онлайн-трансляция и мастер-класс по MySQL для разработчиков (подробности на сайте).

Wednesday, September 7, 2011

9:23PM - Ищем верстальщика / флешера (на постоянную работу, Москва)

Всем добрый день
Ищется верстальщик / флешер.

Верстка div-ами и таблицами
Photoshop / Illustrator
Кроссбраузерная верстка
Flash
Наличие портфолио

Знание javascript-фреймворков, умение верстать под Microsoft MVC и умение программировать на javascript будет плюсом.

Гарантируем интересные проекты (в том числе высоконагруженные), хороший коллектив, лояльное руководство, удобный график работы и офис в центре Москвы рядом с метро.

Пишите: corvin@oceanlab.ru

Navigate: (Previous 20 entries)