Небольшая подборка полезных ссылок по Windows Azure для быстрого начала работы:
- Портал Windows Azure
- Бесплатный 30 дневный триальный доступ в Windows Azure
- Блог Windows Azure в MSDN
- Наши группы в социальных сетях : linkedin, Facebook и вконтакте
- Электронная книга Windows Azure – облачная платформа Microsoft
- Блог Microsoft на habrhabr
- Windows Azure и Open-source технологии (php, java, ruby, node.js, drupal и др )
- Обучащий инструментарий ( на английском языке ) : Windows Azure Training Kit
- Наш твиттер : windowsazure_ru
Одно из самых популярных в штатах облачных событий — CloudCamp — теперь и в Москве. На самом деле это мог бы быть вообще самый первый CloudCamp в СНГ, но коллеги из Минска опередили меня на 2 дня — самый первый кэмп будет в Минске, 7 апреля ( я кстати там тоже буду, как и Дейв Нильсен ). Немного о мероприятии – CloudCamp – это конференция которая устраивается сообществом разработчиков и клаудных экспертов, т.е. конференция технологическая, без бла-бла-бла-клауд и другого около-облачного маркетингового мусора, от других конференций отличается тем что это конфа не классического типа где все проходит по схеме – доклад -вопросы, а предполагает более активное взаимодействие с аудиторией – фактически в рамках отдельной секции спикеры задают начальную тему для дискуссии и потом обсуждение развивается уже в зависимости от реакции аудитории. Спикеры будут от сообщества разработчиков, известные российский облачные эксперты, и есть два приглашенных спикера – Дейв Нильсен ( основатель CloudCamp ) и Девид Сзабо – эксперт по облачной платформе от Майкрософта. Программа мероприятия разделена на четыре большие облачные темы: Приватное облако, Большие данные и высокопроизводительные вычисления, Облачная платформа Windows Azure и Развитие облачных сервисов.
Программа мероприятия разделена на четыре большие облачные темы: Частное облако, Большие данные и высокопроизводительные вычисления, Облачная платформа Windows Azure иРазвитие облачных сервисов.
Частное облако
- Сетевая инфраструктура как Сервис – open-source платформа OpenStack – Илья Алексеев (сообщество контрибьюторов OpenStack в России)
- Архитектура Hyper-V – Геогрий Гаджиев (Microsoft, IT Pro Evangelist )
Высокопроизводительные вычисления и большие данные
- Высокопроизводительные вычисления и In-Memory Data Grid-ы –Алексей Рагозин (Deutsche Bank, Solution architect, VP)
- CloudNumerics: большие данные, облака и вычисления – Анджей Аршавский (Microsft, Technical Computing Development Manager)
Облачная платформа Windows Azure
- Windows Azure: сценарии использования и архитектура облачных сервисов – Дмитрий Мартынов (Microsoft, Windows Azure PSA )
- SaaS бизнес: 20% технологии и 80% всего остального – Дэвид Сзабо (Microsoft, Windows Azure PSA)
Настоящее и будущее облачных сервисов
- Особенности рынка облачных сервисов в России – Антон Салов (Softline, директор по новым технологиям)
- Будущая облачная ОС – Дейв Нильсен (основатель CloudCamp и Silicon Valley CloudCenter)
Начало мероприятия 9 апреля в 12 часов, место проведения – бизнес центр “Крылатские холмы” ( корпус Water, с логотипом Microsoft ). Участие бесплатное, количество мест ограничено, требуется предварительная регистрация : http://cloudcamp.org/moscow.
ps. Презентации докладчиков :
ДейвНильсен – The Economically Unstoppable Cloud
ИльяАлексеев – Network as a Service – OpenStack cloud platform
Георгий Гаджиев – http://www.slideshare.net/abokov/12-trpc-the-role-of-hyperv-in-nist-model
David Szabo – Your SaaS Business: 20% technology and the 80% other stuff
АлексейРагозин– In-memory data grids in high performance computing
АнджейАршавский – CloudNumerics: Big Data, Clouds and Computations
АнтонСалов – Russian cloud adoption peculiarities
Xr4Zvg1Ah&Kv
Приглашаем на встречу Windows Azure Group – на встрече можно будет пообщаться с пользователями наших сервисов, узнать о новых возможностях Windows Azure и послушать интересные доклады о проектах использующих технологии WindowsAzure :
- 19-00 : Онлайн презентация стартапа SportFort.ru – сервис для создания и поддержки онлайн спортивных онлайн ресурсов : SportFort – Платформа для создания сайта спортивной команды или лиги/ облачная CMS, специализированная на спортивных организациях
- 20-00 Презентация проекта SysAdmin Anywhere ( компания Ria-Media ) : SysAdmin Anywhere – Облачный сервис для удаленного администрирования рабочих станций
Регистрация бесплатная, зарегистрироваться для участия вы можете через МойКруг, linkedin : Windows Azure Russia – user group.
В ближайший вторник 13 декабря Microsoft проводит сессию тренингов Learning Windows Azure – тренинги проводятся гуру облачных вычислений из Microsoft – для тех кому повезло оказаться в Редмонде доступен офф-лайн вариант в кампусе Майкрософта, для остальных есть веб-трансляция Learning Windows Azure на Channel9 и хештег #WindowsAzure с помощью которого можно задавать вопросы ведущим. Расписание тренингов отлично подходит под западное побережье США, в евройпейской части России все это в онлайне будет глубокой ночью. Регистрация на участие в тренинге ( для тех кто в Редмонде 
) доступна на Learning Windows Azure Event, Scott Guthrie обещает освещать всё происходящее в своем твиттере и блоге.
Расписание сессий по московскому времени :
- 21-00 – 22:30 : Начало работы с Windows Azure SDK – Microsoft VP Scott Guthrie )
- 22:45 – 24-00 : Данные в облаках и облачное хранилище ( SQL Azure и файловые хранилища ) – Microsoft Technical Fellow Dave Campbell
- 00:15 – 1:15 : Channel9 Cloud Cover Show – веб-кастов Channel9 Cloud Cover Show вживую с Steve Marx и Wade Wegner.
- 01:30 – 2:30 : Полный цикл разработки для Windows Azure в Visual Studio – разработка, отладка, деплоймент с Jay Schmelzer
- 2:45 – 3:45 : Лучшие паттерны проектирования масштабируемых облачных приложений с David Aiken
- 4:00 – 5:00 : Ответы на вопросы ( не забываем про #WindowsAzure ) с Scott Guthrie, Dave Campbell и Mark Russinovich ( тот самый из systeminternal.com ) !
Также на этой неделе будет еще одно похожее мероприятие организованное канадскими клаудными экспертами – A Whole Week of Windows Azure Training Opportunities – это целая серия онлайн трансляций посвященных технологиям Windows Azure, эту серию трансляций будет проводить Jonathan Rozenblit. Ко всем трансляциям будет доступен live-chat, после завершения трансляции записи будут доступны на Channel9.
Stay tuned!
8 декабря 2011 CloudGroup проводит очередной круглый стол – на этот раз будет целых 2 темы – первая посвящена публичным клауд провайдерам ( Боков Алексей ), второй доклад посвящен научным клаудам и использовании облачных вычислений в научных приложениях ( Шилеев Кирилл ) – презентации и ответы на вопросы см.ниже.
Тема 1 : Лидеры рынка публичных облаков – сравнительный анализ
- Вычислительные ресурсы
- Хранилища данных
- Базы данных
- Дополнительные сервисы
Тема 2 : Научные облака
- Особенности требований к научному ПО
- Гриды vs Клауды
- Что в будущем : гибридные облака
Зарегистрироваться для участия в круглом столе можно здесь.
Подробнее о прошедших и будущих событиях можно узнать в профиле CloudGroup
upd
Презентация Кирилла Шилеева – Научные облака – прошлое, будущее, настоящее
По многочисленным просьбам отдельно публикую ссылку из последнего слайда : Can Clouds Replace Grids? A Real-Life Exabyte-Scale Test-Case by J.D. Shiers, CERN, Geneva, Switzerland
Моя презентация – Публичные клауд провайдеры – сравнение
20 октября 2011 CloudGroup проводит очередной круглый стол – на этот раз мероприятие будет посвящено приватным облакам.
Краткие тезисы доклада и дискусии :
- Что такое приватное облако и зачем оно нужно
- Обзор решений в области приватных облаков
- Проект OpenStack – open source решение для построения приватных облаков
- От публичного облака к приватному
- Взгляд на облачную парадигму завтрашнего дня
Рассказывать про OpenStack будут разработчики проекта OpenStack в России – Илья Алексеев и Эльдар Нугаев. Зарегистрироваться для участия в круглом столе можно здесь.
Подробнее о прошедших и будущих событиях можно узнать в профиле CloudGroup
update Выкладываю саму презентацию : Приватный клауд на базе OpenStack
Алексей Рагозин будет рассказывать про Сборка мусора в #Java и борьба со stop-the-world паузам . Все желающие – welcome : 13 октября 2011, 19-00, м.Маяковская ).
6 октября мы (CloudGroup) будем проводить открытый круглый стол посвященный облачным вычислениям – обсудить предлагается в первую очередь бизнес аспекты облачных вычислений. Формат – презентация с последующей дискуссией. Презентационная часть состоит из нескольких частей :
- Сloud computing crash-course – IaaS, SaaS, PaaS с примерами.
- Инфраструктура как сервис для стартапов и крупных компаний – общие черты и различия при использования облачных вычислений.
- Облачные приложений на базе IaaS – примеры успешных внедрений
Начало в 19-00, географически мероприятие будет проводиться в Москве, недалеко от м.Белорусская, участие бесплатное, за приглашениями обращаться ко мне на почту bokov-aleksej’собака’yandex.ru
или через МойКруг. Подобрнее о прошедших и будущих событиях можно узнать в профиле CloudGroup
По итогам: cама презентация доступна здесь : Бизнес аспекты облачных вычислений
Ответы на некоторые вопросы которые я вчера не смог полностью осветить:
- Локальные российские SaaS сервисы : я бы отметил Электронный бухгалтер Эльба, Мегаплан (CRM) ,1С Битрикс как SaaS услуга, МойСклад.
- Рост рынк облачных услуг до 500 млн$ в 2015 году : рост рынка будет за счет увеличения доли облачных услуг в ИТ – “В 2015 г. седьмая часть затрат на коммерческое ПО, серверы и системы хранения будет приходиться на облачную инфраструктуру. По прогнозу IDC, в 2015 г. на долю публичных облачных сервисов будет приходиться 46% роста общих расходов на основные категории ИТ — приложения, разработка и развертывание приложений, инфраструктурное ПО, системы хранения и серверы.Три четверти расходов на публичные облачные услуги будут направлены на оплату «ПО как услуга» (SaaS). Основными покупателями серверов и систем хранения станут провайдеры SaaS-услуг, которые займутся построением своей инфраструктуры.” – см.IDC: Облачные услуги будут стимулировать рост рынка ИТ в ближайшие 25 лет
То что андроид будет доминировать (70-80% рынка для смартфонов и больше половины для tablet PC ) это вполне очевидно, любопытно было бы видеть распределение внутри андроида по производителям устройств ( и версиям ОС ) и андроидным маркетам ( т.к. у многих производителей есть свои маркеты для приложений ).
Комментарии как говориться излишни.
via Email vs Wiki
“I have to say, I’m not a big fan of cloud computing” by Drew Dernavich/ The New Yorker 2.07.2011/
- Оверсан вышел в публичный релиз – послушайте интересное интервью Дмитрия Лоханского на Финам ФМ ( Они сделали это )
- open-source community переименовывает Hudson в Jenkins спасая проект от Oracle :Hudson Project Renames to Jenkins и позиция комьюнити ( hudson-labs.org ) : Hudson’s future, On Oracle proposal about Hudson
- Стартап CloudBees анонисировал сервис HaaS : Hudson as a Service
- Amazon EC2 сделал поддержку виртуальных машин VMWare : Amazon moves VMware’s virtual machines to the cloud, официальный блог AWS : VM Import – Bring Your VMware Images to The Cloud
- Презентация про архитектуру Skype
- Архитектура twitter ( NoSQL, Pig, Hadoop ) : NoSQL at twitter
- Управление процессом разработки в Google : Chrome Release Cycle
Amazon анонсировал собственный портал для Android приложений :
- Amazon launches Android appstore portal
- Amazon’s Disruptive Android App Store Now Open To Developers — Full Details
- Deciphering Amazon’s Android App Store Strateg
Google представил Android 3.0 ( Honeycomb ) на базе устройства LG /G-Slate :
Amazon анонсировал микро инстансы в EC2 – теперь самый дешевый instance в линейке EC2 стоит 2 (два) цента в час и похоже что хостинг на EC2 становится дешевле чем low-cost dedicated – за 2 цента в час ( 15 долларов в месяц ) получаем linux с root/ssh и всеми соответствующими пирогами. Есть конечно и подводные камни – во первых производительность таких micro instance будет явно очень небольшой ( см – Amazon EC2 Micro instance, how fast is it? ), во вторых собственно дискового пространства на таком micro instance нет и для хранения данных в файловой системе надо использовать EBS, что стоит некоторых небольших денег – 10 центов в месяц за каждый Гб хранимых данных плюс 10 центов за каждый миллион операций ввода-вывода.
AWS как хранилище данных
По состоянию на март 2010 года в Amazon S3 хранится 102 миллиарда объектов, если принять за основу расчеты Is number of objects true indicator of Amazon S3 growth? – 18 миллиардов объектов соответствуют 10 Пт данных, то получаем что сейчас в S3 хранится около 50 Пт данных ( на март 2010 ). Почти наверняка это заниженная оценка, поскольку для хранения петабайт данных Amazon S3 предоставляются специальные условия – видимо есть спрос на хранение таких объемов данных в S3. Если же брать EC2, то только предоставление дискового пространства для запущенных instances требует как минимум 8 Пт ежедневно – см Amazon provisioning 7 petabytes of storage per day.
AWS как вычислительный ресурс
Согласно Amazon’s EC2 Generating 220M+ Annually ( данные на октябрь 2009 ) – 80 процентов серверов приходится на зоны US, в сумме около 40 000 физических серверов, примерно одна пятая инфраструктурных мощностей EC2 используются для нужд сервисов обслуживающих amazon.com. Распределение по типам инстансов :
Amazon Web Services по прежнему лидер рынка – см State of the cloud – 2010 August
AWS как хостинг
EC2 может быть дешевле обычного dedicated хостинга ( имеется в виду с root ssh доступом ) – самые дешевые instance Amazon – micro instances стоят 2 цента в час, что дает 15 долларов в месяц. В среднем ( имхо ) бюджетные предложения хостинга linux ( root ssh ) стоят в районе 20-30 USD в месяц. Производительность micro instance очевидно будет ниже чем m1.small – см Amazon EC2 Micro instance, how fast is it?, второй, более существенный, минус – дисковое пространство на таких instance отсутствует и в качестве хранилища данных ( подмонтированной файловой системы ) можно использовать только EBS, а EBS стоит некоторых денег – 10 центов в месяц за 1 Гб данных плюс 10 центов за каждый миллион операции ввода-вывода. Тем не менее возможность получить кластер из 200 серверов всего за 4 USD в час очень привлекательная и наилучшим юзекейсом для micro instances имхо будет высокораспределенный вычислительный грид, что впрочем не уменьшает привлектельности использования EC2 как дешевого хостинга с root доступом.
На “сладкое” – анатомия instance id и расчет количества ежедневно запущенных instance – Amazon EC2 usage estimates – около 50 тысяч инстансов в пределах одной геозоны в сутки ( данные на Oct, 2009 ) :
.
По горячим следам презентации в мейл.ру хочется немного дополнить мои ответы на вопросы из зала :
Q : Какова производительность EC2 instance ( по сравнению с реальным железом )?
A: Картинка ниже должна ответить на данный вопрос ( не забываем что в линейке EC2 есть и гораздо более производиельные instance чем m1.medium ), по теме произвоительности EC2 ( и других клауд провайдеров ) можно посмотреть эту небольшую подборку ссылок – Cloud providers perfomance tests and monitoring.
Q: Трафик с EC2 – сколько стоит входящий трафик и сколько исходящий? Насколько оправдано например будет вынести краулинг веба в EC2 ?
A: Как я и сказал – внешний входящий трафик бесплатный, исходящий наружу стоит некоторых денег – см EC2 pricing. Трафик внутри сети ( в пределах региона ) – бесплатный. Теперь о деталях – исходящий трафик бесплатный до 1 ноября 2010, после будет тарифицироваться по 10 центов за Гб – так что времени бесплатно скачать весь интернет осталось не так много При цене в 10 центов за Гб скачать весь рунет ( по данным яндекса 140 тысяч Гб только текста ) будет стоит 14 000 USD, а если говорить о инкрементальном апдейте в 2 Тб ( что вполне близко к реальности ), то один стоимость трафика достаточно невысока – всего 200 USD. Внешний трафик ( наружу ) – один Гб в месяц – бесплатно, далее в зависимости от объёма цена колеблется от 8 до 15 центов за Гб. Другая приятная для анонимного краулинга особенность EC2 – действительно большой выбор ip адресов – имеется возможность размещения instance в достаточно широком диапазоне подсетей и более того в разных географических регионах.
Q : Как ведут себя instance EC2 в некоторых нештатных ситуациях ( например когда кончаются сокеты или память ), какие там установлены лимиты?
A: Для меня неясно насколько поведение ОС под Xen отличается от ее поведения на настоящем железе, особенно в крайних ситуациях. Очевидно что все настройки лимитов на guest-OS доступны для редактирования, но также очевидно что всё это никак не влияет на настройки host-OS. Официальная точка зрения инженеров Amazon состоит в том, что то все лимиты устанавливаются также как и под реальным железом ( root + ulimit ) и запуск OC под системой виртуализации не играет тут никакой роли. Из найденных пользователями фич можно посмотреть по этому поводу например Get around EC2 filesystem limits (sort of), а вообще подозреваю что поведение будет иметь фичи не столько связанные с тем что мы запускаем сервер под EC2/Xen, сколько зависеть от образа который мы запускаем.
Q: Поддерживается ли hibernate в EC2 ? ( можно ли поднять приложение, “прогреть” кэш и сохранить это состояние, а потом когда нужно быстро поднять сервер? )
A: Для начала каким образом можно было бы сделать Hibernate – для этого необходимо к instance примонтировать EBS устройство ( отформатировать его и тп ) и сделать туда hibernate выключив instance – shutdown в данном случае означает что мы потеряли данный instance навсегда, EBS хранилище при это естесственно остается существовать и его можно примонтировать к любому другому запущенному instance. Таким образом hibernate можно реализовать как например запуск нового instance такого же типа с автоматическим монтированием EBS с hibernate данными и восстановлением состояния системы из данных с этого EBS устройства. Насколько я могу судить эта фича достаточно востребована, но как я вижу, пока не реализована – см. EC2 Hibernate, Hibernating Ubuntu on EBS boot EC2 instances.
ps. Из остального – если хочется что-то cloud computing но на местной, российской площадке – посмотрите на Оверсан Скалакси.
На конференцию cloud-разработчиков и архитекторов CloudCamp приглашаются докладчики и спонсоры. CloudCamp – это сообщество клауд-энтузиастов-волонтеров которые организуют и проводят по всему миру технические конференции посвященные cloud computing и близким технологиям. Планируется проведение этого мероприятия и в Москве. Формат – выступления на клаудную и смешанную тематику, доклады участников и доклады спонсоров мероприятия. Так как докладчиков-не-спонсоров бывает намного больше чем отведенного времени, то список докладов выбирается путем голосования среди участников конференции, доклады спонсоров идут вне конкурса. Мероприятие является некоммерческим, спонсорское участвие требуется только на оплату авиабилетов и гостиницы для организатора со стороны cloudCamp ( Yosu Cadilla ) и помощи с помещением ( часто это проводится либо в конференц румах компаний спонсоров ), плюс кофе брейки и пицца для участников.
- CloudCamp website
- LinkedIn group for CloudCamp Russia
- CloudCamp Indy
- The CloudCamp youtube channel
- Here 3 interesting videos on how Open Spaces (UN-conferences) work: Open Space in 30 Seconds, Open Space Explanation, Open Space in Action
Со всеми вопросами можно обращаться ко мне ( bokov-aleksej dog yandex.ru , skype : alexey_bokov ) или в linkedin группу CloudCamp Russia Cloud Computing UN-conference.
То о чем так долго твердили большевики клауд евангелисты случилось – HPC на EC2 таки пришло ( см – New Amazon EC2 Instance Type – The Cluster Compute Instance ) в виде HVM виртуализации ( Xen/CentOS ) вместо паравиртуализации ( Xen/много_разных_ос ) используемой в EC2 сейчас. Ожидается что виртуалки запускаемые под HVM будут сильно быстрее, сеть обещают 10Гбит, что безусловно хорошо. Создавать HPC кластеры как обычно можно через API парой команд – создать имя кластера, и второй командой запихнуть в этот кластер столько то виртуалок :
$ ec2-create-placement-group bokov_super_cluster -s cluster $ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group bokov_super_cluster -n 8
ami-2de43f55 – это CentOS ( ничего другого пока нет – не поддерживают HVM ? ), 8 – сколько нодов в кластере,
cc1.4xlarge – тип ноды ( Quadruple Extra Large – 33.5 ECU (EC2 Compute Units), 23 GB of RAM, 1690 GB storage ).
HPC кластеры от EC2 базируются на самом мощном инстансе из линейки AWS который запускается под HVM, причем в случае с Cloud Compute cc1.4xlarge стоит дешевле ( 1.60 против 2.40 ) чем в случае простого, не HPC-кластерного, использования. Доступно все это пока только в одном регионе – us-east ( физический локайшн серверов, конечно же пользовать все это можно из любой точки мира ), постепенно думаю что расширят ее и на другие регионы. Как уже упоминалось из операционок доступна сейчас только CentOS, для других ОС Amazon предлагает делать образы самостоятельно, но имхо лучше подождать немного пока этого не сделают. И еще немного по поводу производительности - как утверждается в New Amazon EC2 Instance Type – The Cluster Compute Instance народ из AWS сделал кластер из 880 HPC узлов с производительностью 41.82 MFlops (запускали High Performance Linpack запущенный на 880 инстансах Cluster Compute (7040 cores) – что пример равно 146 месту в top500 суперкомпьютеров.
Если совсем-совсем честно, то конечно же HVM это все равно Xen и всё равно виртуализация, что имеет свои явные плюсы в виде скорости _скалирования_ кластера, но и по сравнению с “просто железом” верхняя планка по производительности ( в пике? ) все равно будет ниже. Из HPC + cloud computing еще раз хочется отметить Penguin On Demand – это HPC кластеры on demand ( cloud computing!) из “настоящего” hardware, без виртуализации. Penguin-ы уповают на то что их cloud будет сильно быстрее в смысле общего времени выполнения задач. Подробно в POD я пока не копался – остаётся открытым вопрос про API ( свое ПО для управление кластерами Penguin-ов – SkyId ClusterWare + TaskMaster Suite + Integrated Managed Framework, API явно есть, не понятно как из своих приложений управлять кластером ) и про то насколько быстро кластер будет скалироваться – с одной стороны конечно Pay-As-You-Go, но тем не менее SLA не гарантируют и про динамическое изменение размеров кластера сказано что “can be rapidly scaled by Penguin so POD can grow its capacity as needed” ( POD = Penguin On Demand, по умолчанию в нем доступно 1280 ядер, видимо платить надо за все сразу? ), интересно а если надо уменьшить размер кластера ? Еще небольшое замечание – Penguin-On-Demand на сегодня также как и Amazon HPC работает с CentOS.