Два года назад Дуров и Иларионов поделились на конференции HighLoad++ о архитектуре вКонтакте. Привожу данные на 2010 год, думаю основательно данные не поменялись, а для общего представления хватить двугодичной точности.


И так…
Платформа вКонтакте:

Debian Linux* — основная операционная система
**nginx — балансировка нагрузки
PHP + XCache
Apache + mod_php
memcached
MySQL
Собственная СУБД на C
node.js — прослойка для реализации XMPP, живет за HAProxy
Изображения отдаются просто с файловой системы xfs
ffmpeg — конвертирование видео

Статистика вКонтакте на 2010 год:

95 миллионов учетных записей
40 миллионов активных пользователей во всем мире
11 миллиардов запросов в день
200 миллионов личных сообщений в день
Видеопоток достигает 160Гбит/с
Более 10 тысяч серверов, из которых только 32 — фронтенды на nginx
30-40 разработчиков, 2 дизайнера, 5 системных администраторов, много людей в датацентрах
Каждый день выходит из строя около 10 жестких дисков

*Архитектура вКонтакте:

Cервера многофункциональны и используются одновременно в нескольких ролях:
— Перебрасывание полуавтоматическое;
— Требуется перезапускать daemon’ы;

При балансировке нагрузки используются:
— Взвешенный round robin внутри системы
— Разные сервера для разных типов запросов
— Балансировка на уровне ДНС на 32 IP-адреса

Мощные сервера:
— 8-ядерные процессоры Intel (по два на сервер, видимо)
— 64Гб оперативной памяти
— 8 жестких дисков (соответственно скорее всего корпуса 2-3U)
— RAID не используется
— Не брендированные, собирает компания ТехноОкта
— Вычислительные мощности серверов используются менее, чем на 20%

Сейчас проект расположен в 4 датацентрах в Санкт-Петербурге и Москве, причем:

— Вся основная база данных располагается в одном датацентре в Санкт-Петербурге
— В Московских датацентрах только аудио и видео
— В планах сделать репликацию базы данных в другой датацентр в ленинградской области
— CDN на данный момент не используется, но в планах есть
— Резервное копирование данных происходит ежедневно и инкрементально

Волшебная база данных на C
*Разработана «лучшими умами» России, победителями олимпиад и конкурсов топкодер; озвучили даже имена этих «героев» Вконтакте (писал на слух и возможно не всех успел, так что извиняйте):
—Андрей Лопатин
—Николай Дуров
—Арсений Смирнов
—Алексей Левин

*Используется в огромном количестве сервисов:
— Личные сообщения
— Сообщения на стенах
— Статусы
— Поиск
— Приватность
— Списки друзей

Аудио и видео
1500 серверов используется для перекодирования видео, на них же оно и хранится.

Fanny
• Ядро операционной системы модифицированно (на предмет работы с памятью), есть своя пакетная база для Debian
• Фотографии загружаются на два жестких диска одного сервера одновременно, после чего создается резервная копия на другом сервере
• Есть много доработок над memcached, в.т.ч. для более стабильного и длительного размещения объектов в памяти; есть даже persistent версия
• Фотографии не удаляются для минимизации фрагментации
• Решения о развитии проекта принимают Павел Дуров и Андрей Рогозов, ответственность за сервисы — на них и на реализовавшем его разработчике
• Павел Дуров откладывал деньги на хостинг с 1 курса

Через неделю напишу о архитектуре Google в которой насчитывается болем 1 000 000 серверов…

Здравствуйте друзья айтишники.
Представляю Вам отличнейшею сборку сервера для масштабов малого и среднего предприятия — Zentyal (бывший eBox Platform). Пододет начинающим и продолжающим (но уставшим) админам как полусамонастраивающейся Linux с визуальным web-интерфейсом. На перевес своему русскому конкуренту Ideco ICS, «Дзентял» бесплатен. Сам не пробывал, но забугорный сетевой народ хвалит данный продукт как безотказный и очень простой в использовании. Кроме того пациент подходит для организации VoIP (IP-телефонии), так как на борту наявный Asterisk. Документация inc в сборку. Скачать Zentyal можно тут -> (не забудте выбрать розрядность своего процессора).

Скриншоты:







Что на борту у Zentyal и что с него лепят :


Сетевой фильтр и роутер
Фильтрация
NAT и перенаправление портов
VLAN 802.1Q
поддержка нескольких шлюзов PPPoE и DHCP
Правила для нескольких шлюзов, балансировка нагрузки и автоматический перехват управления при отказе
Распределение трафика (shaping), в том числе на уровне приложений
Мониторинг трафика с графическими отчётами
Механизм детектирования вторжений в сеть
Клиент Dynamic DNS

DHCP-сервер
NTP-сервер
DNS-сервер
Динамические обновления через DHCP
Сервер RADIUS
Поддержка VPN
Автоматическая конфигурация динамических правил роутинга
HTTP-прокси
Интернет-кэш
Пользовательская аутентификация
Фильтрация контента (со списками категорий)
Прозрачная антивирусная проверка
Delay pools
Система детектирования вторжений
Почтовый сервер
Виртуальные домены
Квоты
Поддержка SIEVE
Восстановление внешних аккаунтов
POP3 и IMAP с SSL/TLS
Фильтрация спама и антивирусная проверка
грейлистинг, черные и белые списки адресатов
Прозрачный фильтр POP3-прокси
Аккаунт Catch-all
Webmail
Web-сервер
Виртуальные хосты
Авторизация на основе сертификатов
Рабочие группы
Централизованное управление пользователями и группами
Поддержка иерархии (Master/slave)
Синхронизация с Windows Active Directory
Windows PDC
Политики паролей
Поддержка клиентов на базе Windows 7
Общий доступ к сетевым ресурсам
Файл-сервер
Антивирус
Корзина
Print-сервер
Groupware: календарь, адресная книга, webmail, wiki и др.
VoIP-сервер
Голосовая почта
Комнаты для конференций
Звонки через внешнего провайдера
Трансферные звонки
Удержание звонков
Музыка при удержании
Квоты
Логи
Сервер Jabber/XMPP
Zentyal User Corner for self users info updating
Отчёты и мониторинг
Панель управления (Dashboard) для централизованного доступа к сервисной информации
Мониторинг CPU, загрузки, дискового пространства, температуры, памяти
Использование дисков и состояние RAID
Полный отчёт по состоянию системы
Отправка уведомлений администратору по электронной почте, через RSS или Jabber
Обновления программного обеспечения
Резервное копирование (включая конфигурацию и удалённые/remote данные)

——-


Zentyal собран из отдельных компонентов с открытым исходным кодом:

*Apache web server
*mod perl CGI engine
*OpenLDAP shared users and groups
*OpenSSL cryptography
*netfilter/iptables firewall and NAT
*BIND DNS server
*Squid proxy server and web cache
*DansGuardian content-control software
*Postfix mail transfer agent
*XMPP instant messaging
*ntpd clock synchronization
*OpenVPN virtual private network
*Samba shared storage and PDC for Windows clients
*CUPS shared printers
*APT software installation and upgrade
*Asterisk VOIP services
*Snort network intrusion detection system
*Zarafa or eGroupWare calendar sharing, address book, and webmail
*Dovecot IMAP and POP3 server

Признаюсь Вам, друзья, потратил немало времени на изучение таких VoIP платформ как Asterisk и Elastix. Обе бесплатные, но при реализации предпроекта для РАЕС (готовил любимому начальству на рассмотрение радужных перспектив внедрения VoIP и экономического эффекта) остановился на последнем решении ибо оно есьмь box-сборка. Инсталяха на базе Linux с приятным GUI админки.

Недавно специалисты (отдельное спасибо Виталию Ковалышену ) с львовской компании ITSfera познакомили меня с более стабильной реализацией VoIP софт-атс — FreeSWITCH


Плюс системы FreeSWITCH. Как оказалось в стандарте де-факто для SoftSwitch (Софт АТС) Asterisk много багов на уровне ядра системы. Эти баги известны разработчикам, но что бы их решить нужно переписать с нуля ядро. Соответственно этот геморрой main-разработчику системы, компании Digium, не нужен. «С пивом покатит» (с). Так вот, недавно группа «несогласных» c таким положением вещей в компании — откололась и создала свою, классную СофтАТС — FreeSWITCH.

Минус системы FreeSWITCH. В протежированой мною soft-атс отсутсвует GUI (графический интерфейс пользователя). Но! Ребята с ITSfera пишут свой, и к концу 2012 года планируют запустится. Вчера любезно прислали концепцию GUI для FreeSWITCH (cм. рис. снизу).

VoIP   Information Technology

Искал простую виртуалку взамен VMware (который, кстати, наглухо перекрывает собой 80-й порт и не дает запустится Apache), наткнулся на творение от Oracle под названием VirtualBox. Примечательно, что на сайте есть сборки под разные ОС. Скачать можно тут >> (~85 мб.)



Знаю еще две безплатных виртуальных машины: Microsoft Virtual-PC (только для Windows и для виртуализации семейства ос Windows)



, а также QEMU который запускается только под Linux

Давно задаюсь вопросом о замене ДВЗ (который, кстати, считается устаревшей технологией вот уже 66 лет) на безопасное для окружающей среды и восстанавливаемое топливо. Водоросли, водород и электролиз воды — самые перспективные технологии. Но сегодня речь пойдет о авто на сжатом воздухе, французской компании Motor Development International. Автомобиль имеет нулевой выхлоп, заряжается обычным компрессором (от домашней сети — 4 часа, от АЗС — 3 минуты), в автомобили отсутствуют кучу не нужных ему запчастей (охлаждение, свечи и т. д.), ну и на конец масло в нем меняется раз на 50 000 км. пробега.


Технология пневмодвигателей известна уже 300 лет, а 1880 году в Лондоне ездили пневмо-трамваи, пока в 30-тых не пришла ера ДВЗ и про екологические движки все забыли (говорять что не просто так, а через лобби могущественных нефтяных корпораций). Меньше с тем, на данный момент основатель MDI и бывщый инженер Формула1 — Ги Негрэ (Guy Negre) показал работающий экземпляр машинки на пневмодвигателе. Машинка называется CityCat весом 750 кг. у которой запаса сжатого воздуха хватает на 200-300 километров хода по шоссе или 150 километров в городе. На своей фабрике во Франции MDI намерена производить целую линейку воздушных авто (по цене $11 тысяч), так же, как наладить их выпуск в Индии.

Кстати, за машинкой будущее, даже не сомневайтесь. На данный момент, эту модель будет выпускать корпорация Тата. Индийский авто гигант, который намеревается выкупить ЛендРовер и Ягуар за 2 миллиарда долларов. Вот такие перспективы. По заявлению Тата, машинка в ее интерпретации будет весить 350 кг. и иметь цену $5000. По-моему отличный городской вариант.

Ага. С минусов, хочу отметить:
1) Потерю КПД при конвертировании энергии в жатый воздух и обратно;
2) Опасный баллон с взрывоопасным сжатым воздухом под жо... под попой;
3) Конечно же отсутствие заправок как таковых;

Лед тронулся господа.

В Украине про такие шикарные технологии мечтать опасно и без перспективно. Наш оккупационный режим не даст народу ездить на дешевых машинах да еще и сравнительно за безцень. По крайней мере на нашем веку, мы таких машин на улицах не увидим. Но думаю скоро в нашу колонию Европа будет скидывать тоны машин на ДВЗ как мусор, и мы сможем покупать этот шлак подешевле нежели сейчас.

Всем удачного дня!

- Вставай в 5:00 і роби зарядку;
- Живи кожною хвилиною;
- Вчися кожну секунду;
- Якщо пообіцяв передзвонити — передзвони;
- Запізнюєшся? Повідом очікуючого любим засобом;
- Не смійся над чужими мріями та планами;
- Не критикуй чужі проекти. Нікому твоя критика не потрібна;
- Будь на одинці з собою таким, як і при гостях;
- Не ний і не розповідай про свої проблеми. Усім насрати на них;
- Слідкуй за тим, що говориш. Виконай те, що пообіцяв;
- Будь собою. Не будь чеславним і хвастуватим;
- Перестань, блядь, шкодувати про минуле. Дивись у майбутнє.
- Вчись гарно говорити українською. Розвивай власний запас слів, працюй над ними;
- Перестань дивитись фільми, блядь!;
- Вивчи нарешті англійську мову;
- Досить жрати усе підряд;
- Зосередься на хорошому, не забувай про свої мрії;
- Не повертайся до людей які тебе зрадили і ігноруй людей, що понижують твою самооцінку;
- Будь соціальним і ввічливим. Вітайся з оточуючими частіше.
- Грай на гітарі півгодинки у день.
- Не дивись телевізор окрім Дискавері та ЕнімалПленет.
- Вмій признавати свої помилки. Не бикуй;
- Не пліткуй і не обговорюй інших;
- При сварці не намагайся задіти людину за живе;
- Не обманюй по дрібницях;
- Записуй ідеї. Пиши статті і оповіді;
- З ранку роби самі неприємні справи;
- Ніхто тобі нічого не «должен», блядь;
- Будь потрібен людям;
- Займайся собою і своїм тілом;
- Невздумай говорити людям: «А у тебе не вийде нічого...»;
- Немає слова «Всього одна цигарка...», блядь.
...
Скачати основне для роздруківки і повісу на фронтову стіну (гіпножаба інсайд) →
UPDATE 26.02.2012

Вот такими вещами мы с женой занимаемся на кухне в две руки:

Здравствуйте друзья. Рекомендую шикарную книгу по изучению английского языка. Суть ее в том, что это хрестоматия «Робинзона Крузо», и чем глубже мы читаем книгу тем больше русские слова заменяются английскими, а к концу и вовсе текст 100% английский. Качайте — не пожелаете.



Скачать->>