HighLoad

Конференция HighLoad++ 2014 - где и как?

Мы стартуем подготовку к осеннему HighLoad++, хочу посоветоваться

Хайлоад растёт вот уже четыре года подряд.
  2010 -> 735 участников, Инфопространство;
  2011 -> 754 участника, Инфопространство;
2012 -> 1049 участников, Рэдиссон SAS Славянская;
  2013 -> 1266 участников (основная программа) + 483 (учебный день) + 113 (VIP-день), тоже Рэдиссон;


В этом году мы попробуем пробить планку в 1600 - 2000 участников на основную программу.


Вариантов для места проведения два:
1. Центр Международной Торговли (на Краснопресненской набережной), 31 октября и 1 ноября (пятница и суббота);
2. Рэдиссон SAS Славянская (на Площади Европы), 17 и 18 ноября (понедельник и вторник).


У ЦМТ есть ряд преимуществ - это новая для нас площадка, она интересная, хорошая и большая. Даты пятница и суббота для нас тоже новые - мы так ещё не делали, хотя некоторые наши коллеги уже давно проводят свои мероприятия именно так. В приложении грубо сработанная фотка - как HL++ мог бы выглядеть в ЦМТ, выглядит круто  Опять же, из ЦМТ проходят все телеконференции Владимира Путина, а сейчас важно быть в тренде

HL++ в ЦМТ

У Рэдиссона потолок - 1600 человек, больше будет уже очень тесно. Это хорошо знакомая нам площадка, но даты в ноябре! Обычно HL++ проходит значительно раньше, это смущает. В Рэдиссоне можно развернуться значительно круче - он значительно дешевле, за те же деньги мы можем позволить себе и плазмы в виде экранов и большее число западных звёзд. Но с другой стороны Рэдиссон немного надоел :)

Обе даты не пересекаются ни с чем крупным, ни с международными, ни с российскими конференциями.
Что думаете? Буду благодарен за мысли и комментарии.


И докладчиков прошу подавать доклады - уже ПОРА!
bw

слегка offtopic, но всё же для аудитории highload (про выбор ISP с точки зрения гика)

По мотивам своих хотелок написал открытое письмо к ISP на основе письма к очередному провайдеру в нашем микрорайоне предлагающему очередной вариант побыстрее и подешевле вот тут:

http://grey-olli.livejournal.com/782450.html (открытое письмо к провайдерам интернет в Москве [по мере получения комментариев пост будет обновляться])

Речь там идёт об услугах ценных, на мой взгляд, для гиков, врпрочем не только.

Хотел бы узнать Ваше мнение - насколько актуальны для Вас как IT специалистов те услуги, о которых я пишу как "killer feature" с моей точки зрения.

По возможности, просьба откоментировать у меня, врочем если Вам проще ответить тут - Ваше мнение я всё равно постараюсь отразить в своём открытом письме.

Надеюсь модераторы простят мне некоторый offtopic:
Вообще-говоря по url выше почти нет ничего про highload (кроме контекста = ISP), зато именно в ru.highload наверняка много представителей провайдеров, в том числе тех, которые пытаются отвоевать у больших игроков своё место под солнцем.

Всвязи с постом по url выше, у меня вопрос к представителям провайдеров Москвы:

В первую очередь к тем, кто относительно недавно на рынке (менее года, менее 5ти лет) - насколько Вы готовы рассматривать реализацию услуг, которые я обозначил
как killer feature для таких как я - для гиков? Или даже для вашего небольшого провайдера реализация упомянутых в моём посте услуг находится в графе неадекватно потраченное время?

Во вторую очередь к тем, кто относится к ISP членов больших холдингов (билайн, МТС, Ростелеком, АКАДО и другие крупные игроки Москвы) - готовы ли Вы в основном в рекламных целях реализовать набор услуг, который даст Вам репутацию не просто ISP,
а ISP в котором комфортно и для гиков?

Осенний Форум Технологий: фокус на веб-разработку

Мы приглашаем вас на главное технологическое событие осени — Форум Технологий Mail.Ru Group.

Что будет: 24 доклада, три потока, гигабайты информации о самых актуальных трендах и веб-технологиях. На Форуме российские и зарубежные специалисты будут говорить о том, как использовать самые свежие и горячие разработки в собственных проектах.

Выступающие: эксперты Mail.Ru Group, Google, Opera Software, Ajax.org и других крупнейших IT-компаний.

Форум охватывает спектр тем от NoSQL и облачных технологий до языков, трендов и приемов программирования, а также управления веб-разработкой. В частности, на Форуме Технологий прозвучат:

- рассказ о том, как работает машинное обучение на практике, а не в теории;

- доклад о проблемах передачи голоса и видео от одного из немногих экспертов, знающих эту область изнутри;

- выступление, посвященное Node.js (технологии, отмеченной премией Technology of the Year) — на высоконагруженных проектах.

Подробности и регистрация — на http://techforum.mail.ru/.

Внимание! Участие в Форуме бесплатное, но количество мест ограничено. Судя по прошлому Форуму, желающих будет много, так что торопитесь!


Дата и время: 17 октября 2012 года, 10:00

Адрес: выставочный центр ИнфоПространство, г. Москва, 1-й Зачатьевский переулок, дом 4

Ждем вас!

Оптимизация XFS

Коллеги, подсобите, мозг сломал.

Есть XFS на 2.0 TB raid50, CentOS 6, noatime,nodiratime,logbufs=8,inode64,logbsize=256k,delaylog,nobarrier

Профиль нагрузки - 49% - запись, 49% - чтение только что записанного, 2% - случайное чтение.
Пишем в 15-20 потоков файлики до 1-2 мб.
В какой-то момент xfsbufd начинает занимать 100% io bandwidth.
Приложение, которое пишет на диск, начинает 99% времени тупить в open(O_WRONLY|O_CREAT|O_TRUNC).

Что бы где подкрутить, что бы запись была может быть более медленная, но более ровная?
  • 01petr

Вопрос о хранилище для большого количества мелких файлов.

Есть задача построить хранилище емкостью 50ТБ с возможностью роста 100ТБ и выше.
файлы мелкие от килобайта до нескольких мегабайт. Что-то подобное хостингу изображений.
Файлы в основном читаются, иногда добавляются, практически не удаляются.
То есть операции чтения - это 99,9% всех операций.
10-20 клиентов могут одновременно произвольно запрашивать файлы из хранилища.
Первое требование - низкая задержка при параллельной работе клиентов.
Возможно, файлам потребуется прямой (произвольный) доступ со стороны клиентов (чтение).
Отказоустойчивость приветствуется, но это не отменит резервного копирования.
Есть желание выбрать разумный вариант между затратами и характеристиками.
Клиентами будут Linux машинки (например NFS тома) и под Windows (опосредованый доступ через SMB), в зависимости от специфики ПО.
Есть мечта получить разумные io waits, при скорости прокачки файлов хотя бы сравнимых с локальными дисками - чтение 40-80мб/с уже неплохо. Больше на гигабите и не расчитываю. Надо будет - можно подумать о 10гбит линках.
Скорость записи не важна  - схема с пишущим MDS сервером вполне подойдет. Отслеживать коллизии по записи не придется (писать будет один процесс). Блокировки не нужны.

Пока видится примерно такая схема: несколько хостов с аппаратными/программными RAID массивами и поверх них Lustre или Gluster. Все остальные варианты распределенных файловых систем мне показались менее очевидными.

К ним коннектятся Linux сервера в качестве клиентов, и если надо, для Windows шарят тома через Samba.
Gluster понравился тем что является лишь прослойкой, вниз можно положить EXT3/EXT4 и файлы будут доступны, даже если Gluster вдруг "испортится". Но отзывы про него противоречивые - кто хвалит, кто ругает.
Lustre, похоже, рабочий вариант, но более сложный. Но вроде как больше не развивается - это настораживает.

Посоветуйте, что выбрать с точки зрения производительности и надежности.
Или быть может все же стоит метнуться на целиком аппаратные СХД, что значительно выйдет дороже?

UPD:
1. клиенты используют файловые операции доступа к файлам, "переобучить" их вряд ли возможно.
2. хранилище организуется на закупаемом собственном оборудовании.
3. бюджет видится в районе $50000-$80000
реконструкция, лекция

отдать гигабит

Добрый день, если сообщество еще живо.

Есть задача - отдать гбит и более статики. В идеале, разнести раздачу на несколько площадок и отдавать каждому клиенту с ближайшей к нему.

Как нынче такое принято делать?