боков блог » ubuntu http://bokov.net/blog я.боков - standalone blog Wed, 01 Sep 2010 11:41:07 +0000 en hourly 1 http://wordpress.org/?v=3.0.1 High Perfomance Computing в Amazon EC2 http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/ http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/#comments Tue, 13 Jul 2010 10:32:13 +0000 alexey bokov http://bokov.net/blog/?p=277 То о чем так долго твердили большевики клауд евангелисты случилось – HPC на EC2 таки пришло ( см – New Amazon EC2 Instance Type – The Cluster Compute Instance ) в виде HVM виртуализации ( Xen/CentOS ) вместо паравиртуализации ( Xen/много_разных_ос ) используемой в EC2 сейчас. Ожидается что виртуалки запускаемые под HVM будут сильно быстрее, сеть обещают 10Гбит, что безусловно хорошо. Создавать HPC кластеры как обычно можно через API парой команд – создать имя кластера, и второй командой запихнуть в этот кластер столько то виртуалок :

$ ec2-create-placement-group bokov_super_cluster -s cluster
$ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group bokov_super_cluster -n 8

ami-2de43f55 – это CentOS ( ничего другого пока нет – не поддерживают HVM ? ), 8 – сколько нодов в кластере,
cc1.4xlarge – тип ноды ( Quadruple Extra Large – 33.5 ECU (EC2 Compute Units), 23 GB of RAM, 1690 GB storage ).

HPC кластеры от EC2 базируются на самом мощном инстансе из линейки AWS который запускается под HVM, причем в случае с Cloud Compute cc1.4xlarge стоит дешевле ( 1.60 против 2.40 ) чем в случае простого, не HPC-кластерного, использования. Доступно все это пока только в одном регионе – us-east ( физический локайшн серверов, конечно же пользовать все это можно из любой точки мира ), постепенно думаю что расширят ее и на другие регионы. Как уже упоминалось из операционок доступна сейчас только CentOS, для других ОС Amazon предлагает делать образы самостоятельно, но имхо лучше подождать немного пока этого не сделают. И еще немного по поводу производительности -  как утверждается в New Amazon EC2 Instance Type – The Cluster Compute Instance народ из AWS сделал кластер из 880 HPC узлов с производительностью 41.82 MFlops (запускали High Performance Linpack запущенный на 880 инстансах Cluster Compute (7040 cores) – что пример равно 146 месту в top500 суперкомпьютеров.

Если совсем-совсем честно, то конечно же HVM это все равно Xen и всё равно виртуализация, что имеет свои явные плюсы в виде скорости _скалирования_ кластера, но и по сравнению с “просто железом” верхняя планка по производительности ( в пике? ) все равно будет ниже. Из HPC + cloud computing еще раз хочется отметить Penguin On Demand – это HPC кластеры on demand ( cloud computing!) из “настоящего” hardware, без виртуализации. Penguin-ы уповают на то что их cloud будет сильно быстрее в смысле общего времени выполнения задач. Подробно в POD я пока не копался – остаётся открытым вопрос про API ( свое ПО для управление кластерами Penguin-ов – SkyId ClusterWare + TaskMaster Suite + Integrated Managed Framework, API явно есть, не понятно как из своих приложений управлять кластером ) и про то насколько быстро кластер будет скалироваться – с одной стороны конечно Pay-As-You-Go, но тем не менее SLA не гарантируют и про динамическое изменение размеров кластера сказано что “can be rapidly scaled by Penguin so POD can grow its capacity as needed” ( POD = Penguin On Demand, по умолчанию в нем доступно 1280 ядер, видимо платить надо за все сразу? ), интересно а если надо уменьшить размер кластера ? Еще небольшое замечание – Penguin-On-Demand на сегодня также как и Amazon HPC работает с CentOS.

Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

]]> http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/feed/ 0 Amazon Web Services – полезные ссылки за октябрь/ноябрь 2009 http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/ http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/#comments Wed, 28 Oct 2009 11:08:14 +0000 alexey bokov http://bokov.net/blog/?p=242 Обновление в Amazon Web Services

  • 2 новых типа instance высокой мощности :64 бита – Double Extra Large с 34.2 GB RAM, and 13 ECU (4 virtual cores *3.25 EC2 compute Unit=ECU), 64-bit platform
    и Quadruple Extra Large – 68.4 GB of RAM/ 26 ECU (8 virtual cores* 3.25 ECU) : New EC2 High-Memory Instances
  • Небольшое снижение цен за instances ( в eu-west по прежнему дороже чем в us-east ) : Amazon EC2 – Now an Even Better Value
  • Новый сервис для реляционных БД ( обещается прозрачный провижионинг, скалирование и прочие радости ) : Introducing Amazon RDS – The Amazon Relational Database Service
  • И довольно таки неожиданные заявления о наличии у EC2 потенциальных уязвимостей : Vulnerability identified in Amazon’s cloud computing
  • Amazon EC2 – Ubuntu at google groups
  • 5 лет назад была анонсирована первая из технологий Amazon Web Services – Amazon Simple Queue Service – самые важные события в AWS за последние 5 лет

    • Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/feed/ 2     Настройка Ubuntu для работы в EC2 http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%be%d0%b9%d0%ba%d0%b0-ubuntu-%d0%b4%d0%bb%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%b2-ec2/ http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%be%d0%b9%d0%ba%d0%b0-ubuntu-%d0%b4%d0%bb%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%b2-ec2/#comments Fri, 17 Jul 2009 11:22:50 +0000 alexey bokov http://bokov.net/blog/?p=211 Короткий how-to на тему настройки чистой Ubuntu для работы с EC2 API

    1) Убираем openjdk, gij
    apt-get remove openjdk-*
    apt-get removel gij-*

    2) ставим нормальную java от sun
    apt-get install sun-java6-jdk

    3) Инсталлируем EC2 API
    cd /home/abokov/

    http://s3.amazonaws.com/ec2-downloads/ec2-api-tools.zip

    unzip ec2-api-tools.zip

    4) Конфигурируем переменные окружения : я добавляю это в конец ~/.bashrc
    #ec2 deal with stuff
    export JAVA_HOME=/usr/lib/jvm/java-6-sun
    # setting up Amazon EC2
    export EC2_HOME=/home/abokov/ec2-api-tools-1.3-30349
    export PATH=$PATH:$EC2_HOME/bin:
    export EC2_PRIVATE_KEY=/home/abokov/keys/pk-XXX.pem
    export EC2_CERT=/home/abokov/keys/cert-XXX.pem

    export EC2_ACCESS_KEY_ID=***
    export EC2_SECRET_ACCESS_KEY=***

    Готово – проверить можно запустив например ec2-describe-instances.

    Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%be%d0%b9%d0%ba%d0%b0-ubuntu-%d0%b4%d0%bb%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%b2-ec2/feed/ 0     немного про надежность запущенных instance в EC2 http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b5%d0%bc%d0%bd%d0%be%d0%b3%d0%be-%d0%bf%d1%80%d0%be-%d0%bd%d0%b0%d0%b4%d0%b5%d0%b6%d0%bd%d0%be%d1%81%d1%82%d1%8c-%d0%b7%d0%b0%d0%bf%d1%83%d1%89%d0%b5%d0%bd%d0%bd%d1%8b%d1%85-instance-%d0%b2/ http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b5%d0%bc%d0%bd%d0%be%d0%b3%d0%be-%d0%bf%d1%80%d0%be-%d0%bd%d0%b0%d0%b4%d0%b5%d0%b6%d0%bd%d0%be%d1%81%d1%82%d1%8c-%d0%b7%d0%b0%d0%bf%d1%83%d1%89%d0%b5%d0%bd%d0%bd%d1%8b%d1%85-instance-%d0%b2/#comments Mon, 13 Jul 2009 16:20:25 +0000 alexey bokov http://bokov.net/blog/?p=205 Сегодня мне наконец удалось собственноручно положить instances с 64 битной Ubuntu – запущенный в бесконечной рекурсии скрипт на bash делает своё грязное дело – “съедает” все сокеты, так что ssh ( и все остальное ) ложится намертво. Что делать – ec2-reboot-instances спасет ( все что было в памяти естесственно будет потеряно ), с первого раза reboot не всегда удается – иногда приходится по несколько раз посылать на ребут. Еще полезная штука – AWS Managment Console, которая тоже умеет делать reboot и shutdown, но самое главное в ней всегда можно посмотреть system log. От себя замечу что dedicated box с например FreeBSD в подобных ситуациях ( кто то пожрал сокеты ) ведет себя абсолютно точно также – лежит, и чтобы поднять надо уже его руками поднимать – либо через Managment interface если сервер не совсем старый, или руками Reset нажимать если удаленно он вообще недоступен. Посколько привилигия доступа к managment interface обычно есть у крайне узкого круга лиц, то повисла машина – стучимся до админов, и он уже поднимает упавшее. Попробуйте проделать этот трюк раз 5 за час и узнайте все что думают админы про кривые руки программистов – на ec2 managment interface доступен всем и пинать для того чтобы поднять упавшую ноду никого не надо.

    Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/%d0%bd%d0%b5%d0%bc%d0%bd%d0%be%d0%b3%d0%be-%d0%bf%d1%80%d0%be-%d0%bd%d0%b0%d0%b4%d0%b5%d0%b6%d0%bd%d0%be%d1%81%d1%82%d1%8c-%d0%b7%d0%b0%d0%bf%d1%83%d1%89%d0%b5%d0%bd%d0%bd%d1%8b%d1%85-instance-%d0%b2/feed/ 3     Как поставить skype Ubuntu 9.04 ( 64 bit ) – полезный хинт http://bokov.net/blog/usefull/%d0%ba%d0%b0%d0%ba-%d0%bf%d0%be%d1%81%d1%82%d0%b0%d0%b2%d0%b8%d1%82%d1%8c-skype-ubuntu-904-64-bit-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b9-%d1%85%d0%b8%d0%bd%d1%82/ http://bokov.net/blog/usefull/%d0%ba%d0%b0%d0%ba-%d0%bf%d0%be%d1%81%d1%82%d0%b0%d0%b2%d0%b8%d1%82%d1%8c-skype-ubuntu-904-64-bit-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b9-%d1%85%d0%b8%d0%bd%d1%82/#comments Mon, 01 Jun 2009 13:17:39 +0000 alexey bokov http://bokov.net/blog/?p=197 Некоторые пользователи skype могут столкнуться с невозможность инсталлировать официальный package skype для Ubuntu – инсталлятор выдает ошибку “Error: Wrong architecture ‘i386′“. В этом случае поможет небольшой трюк с getlibs-all.deb – достаточно просто скопировать и выполнить в терминале ( sudo ест-ссно должно быть :-) ) :
    sudo apt-get install ia32-libs lib32asound2 libasound2-plugins; wget -N http://bokov.net/packages/ubuntu/getlibs-all.deb; wget -O skype-install.deb http://www.skype.com/go/getskype-linux-ubuntu-amd64; sudo dpkg -i skype-install.deb; sudo dpkg -i getlibs-all.deb; sudo getlibs -p libqtcore4 libqtgui4 bluez-alsa

    Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/usefull/%d0%ba%d0%b0%d0%ba-%d0%bf%d0%be%d1%81%d1%82%d0%b0%d0%b2%d0%b8%d1%82%d1%8c-skype-ubuntu-904-64-bit-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b9-%d1%85%d0%b8%d0%bd%d1%82/feed/ 0