боков блог » Amazon EC2

Интересные ссылки за январь 2011

alexey bokov — Fri, 14 Jan 2011 08:43:25 +0000

Оверсан вышел в публичный релиз – послушайте интересное интервью Дмитрия Лоханского на Финам ФМ ( Они сделали это )
open-source community переименовывает Hudson в Jenkins спасая проект от Oracle :Hudson Project Renames to Jenkins и позиция комьюнити ( hudson-labs.org ) : Hudson’s future, On Oracle proposal about Hudson
Стартап CloudBees анонисировал сервис HaaS : Hudson as a Service
Amazon EC2 сделал поддержку виртуальных машин VMWare : Amazon moves VMware’s virtual machines to the cloud, официальный блог AWS : VM Import – Bring Your VMware Images to The Cloud
Презентация про архитектуру Skype
Архитектура twitter ( NoSQL, Pig, Hadoop ) : NoSQL at twitter
Управление процессом разработки в Google : Chrome Release Cycle

Amazon анонсировал собственный портал для Android приложений :

Google представил Android 3.0 ( Honeycomb ) на базе устройства LG /G-Slate :

EC2 – микро инстансы за 2 цента в час

alexey bokov — Fri, 10 Sep 2010 13:46:40 +0000

Amazon анонсировал микро инстансы в EC2 – теперь самый дешевый instance в линейке EC2 стоит 2 (два) цента в час и похоже что хостинг на EC2 становится дешевле чем low-cost dedicated – за 2 цента в час ( 15 долларов в месяц ) получаем linux с root/ssh и всеми соответствующими пирогами. Есть конечно и подводные камни – во первых производительность таких micro instance будет явно очень небольшой ( см – Amazon EC2 Micro instance, how fast is it? ), во вторых собственно дискового пространства на таком micro instance нет и для хранения данных в файловой системе надо использовать EBS, что стоит некоторых небольших денег – 10 центов в месяц за каждый Гб хранимых данных плюс 10 центов за каждый миллион операций ввода-вывода.

Share/Bookmark

Amazon Web Services – немного фактов

alexey bokov — Wed, 18 Aug 2010 13:50:51 +0000

AWS как хранилище данных

По состоянию на март 2010 года в Amazon S3 хранится 102 миллиарда объектов, если принять за основу расчеты Is number of objects true indicator of Amazon S3 growth? – 18 миллиардов объектов соответствуют 10 Пт данных, то получаем что сейчас в S3 хранится около 50 Пт данных ( на март 2010 ). Почти наверняка это заниженная оценка, поскольку для хранения петабайт данных Amazon S3 предоставляются специальные условия – видимо есть спрос на хранение таких объемов данных в S3. Если же брать EC2, то только предоставление дискового пространства для запущенных instances требует как минимум 8 Пт ежедневно – см Amazon provisioning 7 petabytes of storage per day.

AWS как вычислительный ресурс

Согласно Amazon’s EC2 Generating 220M+ Annually ( данные на октябрь 2009 ) – 80 процентов серверов приходится на зоны US, в сумме около 40 000 физических серверов, примерно одна пятая инфраструктурных мощностей EC2 используются для нужд сервисов обслуживающих amazon.com. Распределение по типам инстансов :

Amazon Web Services по прежнему лидер рынка – см State of the cloud – 2010 August

AWS как хостинг

EC2 может быть дешевле обычного dedicated хостинга ( имеется в виду с root ssh доступом ) – самые дешевые instance Amazon – micro instances стоят 2 цента в час, что дает 15 долларов в месяц. В среднем ( имхо ) бюджетные предложения хостинга linux ( root ssh ) стоят в районе 20-30 USD в месяц. Производительность micro instance очевидно будет ниже чем m1.small – см Amazon EC2 Micro instance, how fast is it?, второй, более существенный, минус – дисковое пространство на таких instance отсутствует и в качестве хранилища данных ( подмонтированной файловой системы ) можно использовать только EBS, а EBS стоит некоторых денег – 10 центов в месяц за 1 Гб данных плюс 10 центов за каждый миллион операции ввода-вывода. Тем не менее возможность получить кластер из 200 серверов всего за 4 USD в час очень привлекательная и наилучшим юзекейсом для micro instances имхо будет высокораспределенный вычислительный грид, что впрочем не уменьшает привлектельности использования EC2 как дешевого хостинга с root доступом.

На “сладкое” – анатомия instance id и расчет количества ежедневно запущенных instance – Amazon EC2 usage estimates – около 50 тысяч инстансов в пределах одной геозоны в сутки ( данные на Oct, 2009 ) :
.

Share/Bookmark

Cloud computing на практике

alexey bokov — Tue, 10 Aug 2010 15:17:48 +0000

По горячим следам презентации в мейл.ру хочется немного дополнить мои ответы на вопросы из зала :
Q : Какова производительность EC2 instance ( по сравнению с реальным железом )?

A: Картинка ниже должна ответить на данный вопрос ( не забываем что в линейке EC2 есть и гораздо более производиельные instance чем m1.medium ), по теме произвоительности EC2 ( и других клауд провайдеров ) можно посмотреть эту небольшую подборку ссылок – Cloud providers perfomance tests and monitoring.

Q: Трафик с EC2 – сколько стоит входящий трафик и сколько исходящий? Насколько оправдано например будет вынести краулинг веба в EC2 ?
A: Как я и сказал – внешний входящий трафик бесплатный, исходящий наружу стоит некоторых денег – см EC2 pricing. Трафик внутри сети ( в пределах региона ) – бесплатный. Теперь о деталях – исходящий трафик бесплатный до 1 ноября 2010, после будет тарифицироваться по 10 центов за Гб – так что времени бесплатно скачать весь интернет осталось не так много При цене в 10 центов за Гб скачать весь рунет ( по данным яндекса 140 тысяч Гб только текста ) будет стоит 14 000 USD, а если говорить о инкрементальном апдейте в 2 Тб ( что вполне близко к реальности ), то один стоимость трафика достаточно невысока – всего 200 USD. Внешний трафик ( наружу ) – один Гб в месяц – бесплатно, далее в зависимости от объёма цена колеблется от 8 до 15 центов за Гб. Другая приятная для анонимного краулинга особенность EC2 – действительно большой выбор ip адресов – имеется возможность размещения instance в достаточно широком диапазоне подсетей и более того в разных географических регионах.

Q : Как ведут себя instance EC2 в некоторых нештатных ситуациях ( например когда кончаются сокеты или память ), какие там установлены лимиты?
A: Для меня неясно насколько поведение ОС под Xen отличается от ее поведения на настоящем железе, особенно в крайних ситуациях. Очевидно что все настройки лимитов на guest-OS доступны для редактирования, но также очевидно что всё это никак не влияет на настройки host-OS. Официальная точка зрения инженеров Amazon состоит в том, что то все лимиты устанавливаются также как и под реальным железом ( root + ulimit ) и запуск OC под системой виртуализации не играет тут никакой роли. Из найденных пользователями фич можно посмотреть по этому поводу например Get around EC2 filesystem limits (sort of), а вообще подозреваю что поведение будет иметь фичи не столько связанные с тем что мы запускаем сервер под EC2/Xen, сколько зависеть от образа который мы запускаем.

Q: Поддерживается ли hibernate в EC2 ? ( можно ли поднять приложение, “прогреть” кэш и сохранить это состояние, а потом когда нужно быстро поднять сервер? )
A: Для начала каким образом можно было бы сделать Hibernate – для этого необходимо к instance примонтировать EBS устройство ( отформатировать его и тп ) и сделать туда hibernate выключив instance – shutdown в данном случае означает что мы потеряли данный instance навсегда, EBS хранилище при это естесственно остается существовать и его можно примонтировать к любому другому запущенному instance. Таким образом hibernate можно реализовать как например запуск нового instance такого же типа с автоматическим монтированием EBS с hibernate данными и восстановлением состояния системы из данных с этого EBS устройства. Насколько я могу судить эта фича достаточно востребована, но как я вижу, пока не реализована – см. EC2 Hibernate, Hibernating Ubuntu on EBS boot EC2 instances.

ps. Из остального – если хочется что-то cloud computing но на местной, российской площадке – посмотрите на Оверсан Скалакси.

Share/Bookmark

High Perfomance Computing в Amazon EC2

alexey bokov — Tue, 13 Jul 2010 10:32:13 +0000

То о чем так долго твердили большевики клауд евангелисты случилось – HPC на EC2 таки пришло ( см – New Amazon EC2 Instance Type – The Cluster Compute Instance ) в виде HVM виртуализации ( Xen/CentOS ) вместо паравиртуализации ( Xen/много_разных_ос ) используемой в EC2 сейчас. Ожидается что виртуалки запускаемые под HVM будут сильно быстрее, сеть обещают 10Гбит, что безусловно хорошо. Создавать HPC кластеры как обычно можно через API парой команд – создать имя кластера, и второй командой запихнуть в этот кластер столько то виртуалок :

$ ec2-create-placement-group bokov_super_cluster -s cluster
$ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group bokov_super_cluster -n 8

ami-2de43f55 – это CentOS ( ничего другого пока нет – не поддерживают HVM ? ), 8 – сколько нодов в кластере,
cc1.4xlarge – тип ноды ( Quadruple Extra Large – 33.5 ECU (EC2 Compute Units), 23 GB of RAM, 1690 GB storage ).

HPC кластеры от EC2 базируются на самом мощном инстансе из линейки AWS который запускается под HVM, причем в случае с Cloud Compute cc1.4xlarge стоит дешевле ( 1.60 против 2.40 ) чем в случае простого, не HPC-кластерного, использования. Доступно все это пока только в одном регионе – us-east ( физический локайшн серверов, конечно же пользовать все это можно из любой точки мира ), постепенно думаю что расширят ее и на другие регионы. Как уже упоминалось из операционок доступна сейчас только CentOS, для других ОС Amazon предлагает делать образы самостоятельно, но имхо лучше подождать немного пока этого не сделают. И еще немного по поводу производительности - как утверждается в New Amazon EC2 Instance Type – The Cluster Compute Instance народ из AWS сделал кластер из 880 HPC узлов с производительностью 41.82 MFlops (запускали High Performance Linpack запущенный на 880 инстансах Cluster Compute (7040 cores) – что пример равно 146 месту в top500 суперкомпьютеров.

Если совсем-совсем честно, то конечно же HVM это все равно Xen и всё равно виртуализация, что имеет свои явные плюсы в виде скорости _скалирования_ кластера, но и по сравнению с “просто железом” верхняя планка по производительности ( в пике? ) все равно будет ниже. Из HPC + cloud computing еще раз хочется отметить Penguin On Demand – это HPC кластеры on demand ( cloud computing!) из “настоящего” hardware, без виртуализации. Penguin-ы уповают на то что их cloud будет сильно быстрее в смысле общего времени выполнения задач. Подробно в POD я пока не копался – остаётся открытым вопрос про API ( свое ПО для управление кластерами Penguin-ов – SkyId ClusterWare + TaskMaster Suite + Integrated Managed Framework, API явно есть, не понятно как из своих приложений управлять кластером ) и про то насколько быстро кластер будет скалироваться – с одной стороны конечно Pay-As-You-Go, но тем не менее SLA не гарантируют и про динамическое изменение размеров кластера сказано что “can be rapidly scaled by Penguin so POD can grow its capacity as needed” ( POD = Penguin On Demand, по умолчанию в нем доступно 1280 ядер, видимо платить надо за все сразу? ), интересно а если надо уменьшить размер кластера ? Еще небольшое замечание – Penguin-On-Demand на сегодня также как и Amazon HPC работает с CentOS.

Share/Bookmark

Amazon Web Services – полезные ссылки за октябрь/ноябрь 2009

alexey bokov — Wed, 28 Oct 2009 11:08:14 +0000

Обновление в Amazon Web Services

2 новых типа instance высокой мощности :64 бита – Double Extra Large с 34.2 GB RAM, and 13 ECU (4 virtual cores *3.25 EC2 compute Unit=ECU), 64-bit platform
и Quadruple Extra Large – 68.4 GB of RAM/ 26 ECU (8 virtual cores* 3.25 ECU) : New EC2 High-Memory Instances

Небольшое снижение цен за instances ( в eu-west по прежнему дороже чем в us-east ) : Amazon EC2 – Now an Even Better Value

Новый сервис для реляционных БД ( обещается прозрачный провижионинг, скалирование и прочие радости ) : Introducing Amazon RDS – The Amazon Relational Database Service

И довольно таки неожиданные заявления о наличии у EC2 потенциальных уязвимостей : Vulnerability identified in Amazon’s cloud computing

Amazon EC2 – Ubuntu at google groups

5 лет назад была анонсирована первая из технологий Amazon Web Services – Amazon Simple Queue Service – самые важные события в AWS за последние 5 лет

Share/Bookmark

К вопросу о производительности ресурсов от cloud провайдеров

alexey bokov — Tue, 18 Aug 2009 13:46:42 +0000

Cloud Hosting Performance

Measuring EC2 system performance

Comparing Amazon EC2 performance with other cloud/VPS hosting options… and real hardware

Monitoring Cloud Computing Performance with PRTG: CPU, Disk, Memory Speed Comparison of Amazon EC2 Instance Types

Share/Bookmark

Cloud links for August

alexey bokov — Wed, 12 Aug 2009 12:15:49 +0000

Share/Bookmark

Регионы и зоны в Amazon EC2

alexey bokov — Tue, 28 Jul 2009 07:48:43 +0000

Не так давно amazon анонсировал появление дополнительной зоны в регионе us-east – us-east-1d – теперь у EC2 есть два региона – us-east-1 ( в котором есть 4 зоны us-east-1a, us-east-1b, us-east-1c, us-east-1d ) и eu-west-1 ( в котороем есть две зоны eu-west-1a и eu-west-1c ). Для начала о регионах – регионы в EC2 – это географически разные ДЦ, с полностью независимыми namespace для всего – единственное что их объединяет это платежный аккаунт – оба региона доступны в AWS console, и так же доступны через command line API – при этом для того чтобы команда применялась как региону отличному от региона по умолчанию необходимо использовать ключ –region – фактически обращение за данными по разным урлам – eu-west-1.compute.amazonaws.com и us-east-1.compute.amazonaws.com. При работе через SOAP нужно использовать соответствующий урл, а не параметр как ожидалось – было бы логичнее чтобы была одна точка входа, а регион был обычным параметром, каким он собственно и является. Пространства пар ключей, имен AMI, запущенных инстансов и все остальное в регионах абсолютно непересекаются – поэтому чтобы посмотреть все запущенные инстансы надо использовать ec2-describe-instances –region us-east-1 а потом ec2-describe-instances –region eu-west-1. И поэтому например официальные провайдеры AMI ( такие как alestic.com – ubuntu, sun – open solaris ) поддерживают свои образы для каждого региона, поскольку запустить instance можно только по AMI который находится в том же регионе где запускается данные instance. Впрочем, oracle например поддерживает только us-east-1, тем самым заставляя своих пользователей пользоваться ec2-migrate-bundle. Более того – расценки за ресурсы размещенные в разных регионах – разные ( в eu-west-1 немного выше ), также трафик между регионами не считается внутренним и также оплачивается. Регионом по умолчанию как правило является us-east-1, также по умолчанию в amazon EC2 есть верхняя граница одновременно запущенных instances – не более 10 на аккаунт. Если нужно больше – письмо в support ( реагируют они на самом деле достаточно быстро ) но расширяют возможности по увеличению количества одновременно запущенных instance предоставляя новый пул в регионе eu-west-1 в котором ресурсы несколько дороже чем us-east-1. Регионы в EC2 – это физически изолированные друг от друга instances которые находятся физически удаленно друг от друга, отдельно конфигурируются, имеют независимые namespace для ресурсов, создаются, ресурсы в которых имеют разную стоимость и трафик между регионами не считается внутренним и оплачивается. Естественно, что по внутреннему DNS имени instances доступны только внутри своего региона.
Зоны в EC2 имеют другой смысл – это также физически разные ДЦ ( или стойки ? ) , но зоны не имеют своих namespace – то есть для всех зон внутри региона все данные – ключи, AMI – общие, конфигуруются они также вместе, доступ между instance из разных зон возможен по внутреннему DNS имени, трафик между зонами считается внутренним, тарификация ресурсов в разных зонах для одного региона также одинаковая. Таким образом зоны позволяют в определенных пределах управлять физическим размещением кластера и гарантировать то что instance запущенны на физически разных серверах – такая проблема может возникнуть например для data-aware routing в случае возможного размещения instance на физически одной стойке характеристики приложения сильно изменяются – наличие зон в определённом плане решает данную проблему. Для запуска instance в конкретной зоне
ec2-run-instances –region -z <имя_зоны>
Посмотреть доступные зоны и регионы можно командой ec2-describe-availability-zones и ec2-describe-regions
abokov@abokov-desktop:~$ ec2-describe-availability-zones –region us-east-1
AVAILABILITYZONE us-east-1a available us-east-1
AVAILABILITYZONE us-east-1b available us-east-1
AVAILABILITYZONE us-east-1c available us-east-1
AVAILABILITYZONE us-east-1d available us-east-1
abokov@abokov-desktop:~$ ec2-describe-availability-zones –region eu-west-1
AVAILABILITYZONE eu-west-1a available eu-west-1
AVAILABILITYZONE eu-west-1b available eu-west-1
abokov@abokov-desktop:~$ ec2-describe-regions
REGION eu-west-1 eu-west-1.ec2.amazonaws.com
REGION us-east-1 us-east-1.ec2.amazonaws.com

Share/Bookmark

Настройка Ubuntu для работы в EC2

alexey bokov — Fri, 17 Jul 2009 11:22:50 +0000

Короткий how-to на тему настройки чистой Ubuntu для работы с EC2 API

1) Убираем openjdk, gij
apt-get remove openjdk-*
apt-get removel gij-*

2) ставим нормальную java от sun
apt-get install sun-java6-jdk

3) Инсталлируем EC2 API
cd /home/abokov/

http://s3.amazonaws.com/ec2-downloads/ec2-api-tools.zip

unzip ec2-api-tools.zip

4) Конфигурируем переменные окружения : я добавляю это в конец ~/.bashrc
#ec2 deal with stuff
export JAVA_HOME=/usr/lib/jvm/java-6-sun
# setting up Amazon EC2
export EC2_HOME=/home/abokov/ec2-api-tools-1.3-30349
export PATH=$PATH:$EC2_HOME/bin:
export EC2_PRIVATE_KEY=/home/abokov/keys/pk-XXX.pem
export EC2_CERT=/home/abokov/keys/cert-XXX.pem

export EC2_ACCESS_KEY_ID=***
export EC2_SECRET_ACCESS_KEY=***

Готово – проверить можно запустив например ec2-describe-instances.

Share/Bookmark