боков блог » linux http://bokov.net/blog я.боков - standalone blog Thu, 26 Apr 2012 17:08:05 +0000 en hourly 1 http://wordpress.org/?v=3.3.2 High Perfomance Computing в Amazon EC2 http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/ http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/#comments Tue, 13 Jul 2010 10:32:13 +0000 alexey bokov http://bokov.net/blog/?p=277 То о чем так долго твердили большевики клауд евангелисты случилось – HPC на EC2 таки пришло ( см – New Amazon EC2 Instance Type – The Cluster Compute Instance ) в виде HVM виртуализации ( Xen/CentOS ) вместо паравиртуализации ( Xen/много_разных_ос ) используемой в EC2 сейчас. Ожидается что виртуалки запускаемые под HVM будут сильно быстрее, сеть обещают 10Гбит, что безусловно хорошо. Создавать HPC кластеры как обычно можно через API парой команд – создать имя кластера, и второй командой запихнуть в этот кластер столько то виртуалок :

$ ec2-create-placement-group bokov_super_cluster -s cluster
$ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group bokov_super_cluster -n 8

ami-2de43f55 – это CentOS ( ничего другого пока нет – не поддерживают HVM ? ), 8 – сколько нодов в кластере,
cc1.4xlarge – тип ноды ( Quadruple Extra Large – 33.5 ECU (EC2 Compute Units), 23 GB of RAM, 1690 GB storage ).

HPC кластеры от EC2 базируются на самом мощном инстансе из линейки AWS который запускается под HVM, причем в случае с Cloud Compute cc1.4xlarge стоит дешевле ( 1.60 против 2.40 ) чем в случае простого, не HPC-кластерного, использования. Доступно все это пока только в одном регионе – us-east ( физический локайшн серверов, конечно же пользовать все это можно из любой точки мира ), постепенно думаю что расширят ее и на другие регионы. Как уже упоминалось из операционок доступна сейчас только CentOS, для других ОС Amazon предлагает делать образы самостоятельно, но имхо лучше подождать немного пока этого не сделают. И еще немного по поводу производительности -  как утверждается в New Amazon EC2 Instance Type – The Cluster Compute Instance народ из AWS сделал кластер из 880 HPC узлов с производительностью 41.82 MFlops (запускали High Performance Linpack запущенный на 880 инстансах Cluster Compute (7040 cores) – что пример равно 146 месту в top500 суперкомпьютеров.

Если совсем-совсем честно, то конечно же HVM это все равно Xen и всё равно виртуализация, что имеет свои явные плюсы в виде скорости _скалирования_ кластера, но и по сравнению с “просто железом” верхняя планка по производительности ( в пике? ) все равно будет ниже. Из HPC + cloud computing еще раз хочется отметить Penguin On Demand – это HPC кластеры on demand ( cloud computing!) из “настоящего” hardware, без виртуализации. Penguin-ы уповают на то что их cloud будет сильно быстрее в смысле общего времени выполнения задач. Подробно в POD я пока не копался – остаётся открытым вопрос про API ( свое ПО для управление кластерами Penguin-ов – SkyId ClusterWare + TaskMaster Suite + Integrated Managed Framework, API явно есть, не понятно как из своих приложений управлять кластером ) и про то насколько быстро кластер будет скалироваться – с одной стороны конечно Pay-As-You-Go, но тем не менее SLA не гарантируют и про динамическое изменение размеров кластера сказано что “can be rapidly scaled by Penguin so POD can grow its capacity as needed” ( POD = Penguin On Demand, по умолчанию в нем доступно 1280 ядер, видимо платить надо за все сразу? ), интересно а если надо уменьшить размер кластера ? Еще небольшое замечание – Penguin-On-Demand на сегодня также как и Amazon HPC работает с CentOS.

TwitterFacebookLinkedInLiveJournalFriendFeedGoogle BookmarksShare/Bookmark

]]> http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/feed/ 0 Amazon Web Services – полезные ссылки за октябрь/ноябрь 2009 http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/ http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/#comments Wed, 28 Oct 2009 11:08:14 +0000 alexey bokov http://bokov.net/blog/?p=242 Обновление в Amazon Web Services

  • 2 новых типа instance высокой мощности :64 бита – Double Extra Large с 34.2 GB RAM, and 13 ECU (4 virtual cores *3.25 EC2 compute Unit=ECU), 64-bit platform
    и Quadruple Extra Large – 68.4 GB of RAM/ 26 ECU (8 virtual cores* 3.25 ECU) : New EC2 High-Memory Instances
  • Небольшое снижение цен за instances ( в eu-west по прежнему дороже чем в us-east ) : Amazon EC2 – Now an Even Better Value
  • Новый сервис для реляционных БД ( обещается прозрачный провижионинг, скалирование и прочие радости ) : Introducing Amazon RDS – The Amazon Relational Database Service
  • И довольно таки неожиданные заявления о наличии у EC2 потенциальных уязвимостей : Vulnerability identified in Amazon’s cloud computing
  • Amazon EC2 – Ubuntu at google groups
  • 5 лет назад была анонсирована первая из технологий Amazon Web Services – Amazon Simple Queue Service – самые важные события в AWS за последние 5 лет

    • TwitterFacebookLinkedInLiveJournalFriendFeedGoogle BookmarksShare/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/feed/ 2     Microsoft приобщилась к open source community http://bokov.net/blog/linux/microsoft-%d0%bf%d1%80%d0%b8%d0%be%d0%b1%d1%89%d0%b8%d0%bb%d0%b0%d1%81%d1%8c-%d0%ba-open-source-community/ http://bokov.net/blog/linux/microsoft-%d0%bf%d1%80%d0%b8%d0%be%d0%b1%d1%89%d0%b8%d0%bb%d0%b0%d1%81%d1%8c-%d0%ba-open-source-community/#comments Wed, 22 Jul 2009 07:36:42 +0000 alexey bokov http://bokov.net/blog/?p=218 Microsoft анносировала комитмент кода под GNU GPL 2 в ядро Linux с целью поддержки ‘enlightened mode’ при работе linux как guest OS под Microsoft Hyper-V.

    TwitterFacebookLinkedInLiveJournalFriendFeedGoogle BookmarksShare/Bookmark

    ]]>     http://bokov.net/blog/linux/microsoft-%d0%bf%d1%80%d0%b8%d0%be%d0%b1%d1%89%d0%b8%d0%bb%d0%b0%d1%81%d1%8c-%d0%ba-open-source-community/feed/ 0