боков блог » compute and data grid http://bokov.net/blog я.боков - standalone blog Wed, 01 Sep 2010 11:41:07 +0000 en hourly 1 http://wordpress.org/?v=3.0.1 CloudCamp Россия/Москва – разыскиваются докладчики и спонсоры! http://bokov.net/blog/compute-and-data-grid/cloudcamp-russia-moscow/ http://bokov.net/blog/compute-and-data-grid/cloudcamp-russia-moscow/#comments Fri, 30 Jul 2010 09:08:14 +0000 alexey bokov http://bokov.net/blog/?p=282 На конференцию cloud-разработчиков и архитекторов CloudCamp приглашаются докладчики и спонсоры. CloudCamp – это сообщество клауд-энтузиастов-волонтеров которые организуют и проводят по всему миру технические конференции посвященные cloud computing и близким технологиям. Планируется проведение этого мероприятия и в Москве. Формат – выступления на клаудную и смешанную тематику, доклады участников и доклады спонсоров мероприятия. Так как докладчиков-не-спонсоров бывает намного больше чем отведенного времени, то список докладов выбирается путем голосования среди участников конференции, доклады спонсоров идут вне конкурса. Мероприятие является некоммерческим, спонсорское участвие требуется только на оплату авиабилетов и гостиницы для организатора со стороны cloudCamp ( Yosu Cadilla ) и помощи с помещением ( часто это проводится либо в конференц румах компаний спонсоров ), плюс кофе брейки и пицца для участников.

Со всеми вопросами можно обращаться ко мне ( bokov-aleksej dog yandex.ru , skype : alexey_bokov ) или в linkedin группу CloudCamp Russia Cloud Computing UN-conference.

Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

]]> http://bokov.net/blog/compute-and-data-grid/cloudcamp-russia-moscow/feed/ 0 High Perfomance Computing в Amazon EC2 http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/ http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/#comments Tue, 13 Jul 2010 10:32:13 +0000 alexey bokov http://bokov.net/blog/?p=277 То о чем так долго твердили большевики клауд евангелисты случилось – HPC на EC2 таки пришло ( см – New Amazon EC2 Instance Type – The Cluster Compute Instance ) в виде HVM виртуализации ( Xen/CentOS ) вместо паравиртуализации ( Xen/много_разных_ос ) используемой в EC2 сейчас. Ожидается что виртуалки запускаемые под HVM будут сильно быстрее, сеть обещают 10Гбит, что безусловно хорошо. Создавать HPC кластеры как обычно можно через API парой команд – создать имя кластера, и второй командой запихнуть в этот кластер столько то виртуалок :

$ ec2-create-placement-group bokov_super_cluster -s cluster
$ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group bokov_super_cluster -n 8

ami-2de43f55 – это CentOS ( ничего другого пока нет – не поддерживают HVM ? ), 8 – сколько нодов в кластере,
cc1.4xlarge – тип ноды ( Quadruple Extra Large – 33.5 ECU (EC2 Compute Units), 23 GB of RAM, 1690 GB storage ).

HPC кластеры от EC2 базируются на самом мощном инстансе из линейки AWS который запускается под HVM, причем в случае с Cloud Compute cc1.4xlarge стоит дешевле ( 1.60 против 2.40 ) чем в случае простого, не HPC-кластерного, использования. Доступно все это пока только в одном регионе – us-east ( физический локайшн серверов, конечно же пользовать все это можно из любой точки мира ), постепенно думаю что расширят ее и на другие регионы. Как уже упоминалось из операционок доступна сейчас только CentOS, для других ОС Amazon предлагает делать образы самостоятельно, но имхо лучше подождать немного пока этого не сделают. И еще немного по поводу производительности -  как утверждается в New Amazon EC2 Instance Type – The Cluster Compute Instance народ из AWS сделал кластер из 880 HPC узлов с производительностью 41.82 MFlops (запускали High Performance Linpack запущенный на 880 инстансах Cluster Compute (7040 cores) – что пример равно 146 месту в top500 суперкомпьютеров.

Если совсем-совсем честно, то конечно же HVM это все равно Xen и всё равно виртуализация, что имеет свои явные плюсы в виде скорости _скалирования_ кластера, но и по сравнению с “просто железом” верхняя планка по производительности ( в пике? ) все равно будет ниже. Из HPC + cloud computing еще раз хочется отметить Penguin On Demand – это HPC кластеры on demand ( cloud computing!) из “настоящего” hardware, без виртуализации. Penguin-ы уповают на то что их cloud будет сильно быстрее в смысле общего времени выполнения задач. Подробно в POD я пока не копался – остаётся открытым вопрос про API ( свое ПО для управление кластерами Penguin-ов – SkyId ClusterWare + TaskMaster Suite + Integrated Managed Framework, API явно есть, не понятно как из своих приложений управлять кластером ) и про то насколько быстро кластер будет скалироваться – с одной стороны конечно Pay-As-You-Go, но тем не менее SLA не гарантируют и про динамическое изменение размеров кластера сказано что “can be rapidly scaled by Penguin so POD can grow its capacity as needed” ( POD = Penguin On Demand, по умолчанию в нем доступно 1280 ядер, видимо платить надо за все сразу? ), интересно а если надо уменьшить размер кластера ? Еще небольшое замечание – Penguin-On-Demand на сегодня также как и Amazon HPC работает с CentOS.

Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

]]> http://bokov.net/blog/amazon-ec2/high-perfomance-computing-%d0%b2-amazon-ec2/feed/ 0 Amazon Web Services – полезные ссылки за октябрь/ноябрь 2009 http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/ http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/#comments Wed, 28 Oct 2009 11:08:14 +0000 alexey bokov http://bokov.net/blog/?p=242 Обновление в Amazon Web Services

  • 2 новых типа instance высокой мощности :64 бита – Double Extra Large с 34.2 GB RAM, and 13 ECU (4 virtual cores *3.25 EC2 compute Unit=ECU), 64-bit platform
    и Quadruple Extra Large – 68.4 GB of RAM/ 26 ECU (8 virtual cores* 3.25 ECU) : New EC2 High-Memory Instances
  • Небольшое снижение цен за instances ( в eu-west по прежнему дороже чем в us-east ) : Amazon EC2 – Now an Even Better Value
  • Новый сервис для реляционных БД ( обещается прозрачный провижионинг, скалирование и прочие радости ) : Introducing Amazon RDS – The Amazon Relational Database Service
  • И довольно таки неожиданные заявления о наличии у EC2 потенциальных уязвимостей : Vulnerability identified in Amazon’s cloud computing
  • Amazon EC2 – Ubuntu at google groups
  • 5 лет назад была анонсирована первая из технологий Amazon Web Services – Amazon Simple Queue Service – самые важные события в AWS за последние 5 лет

    • Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/amazon-web-services-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%86%d0%b5%d0%bd%d1%8b-%d0%b8-%d0%bd%d0%be%d0%b2%d1%8b%d0%b5-%d1%81%d0%b5%d1%80%d0%b2%d0%b8%d1%81%d1%8b/feed/ 2     К вопросу о производительности ресурсов от cloud провайдеров http://bokov.net/blog/amazon-ec2/%d0%ba-%d0%b2%d0%be%d0%bf%d1%80%d0%be%d1%81%d1%83-%d0%be-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b5%d1%81%d1%83%d1%80/ http://bokov.net/blog/amazon-ec2/%d0%ba-%d0%b2%d0%be%d0%bf%d1%80%d0%be%d1%81%d1%83-%d0%be-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b5%d1%81%d1%83%d1%80/#comments Tue, 18 Aug 2009 13:46:42 +0000 alexey bokov http://bokov.net/blog/?p=235 Cloud Hosting Performance
  • Measuring EC2 system performance
  • Comparing Amazon EC2 performance with other cloud/VPS hosting options… and real hardware
  • Monitoring Cloud Computing Performance with PRTG: CPU, Disk, Memory Speed Comparison of Amazon EC2 Instance Types

    • Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/%d0%ba-%d0%b2%d0%be%d0%bf%d1%80%d0%be%d1%81%d1%83-%d0%be-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b5%d1%81%d1%83%d1%80/feed/ 0     Клауд компьютинг – ссылки за Mай/2009 http://bokov.net/blog/amazon-ec2/about-cloud-computing-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b5-%d1%81%d1%81%d1%8b%d0%bb%d0%ba%d0%b8/ http://bokov.net/blog/amazon-ec2/about-cloud-computing-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b5-%d1%81%d1%81%d1%8b%d0%bb%d0%ba%d0%b8/#comments Tue, 26 May 2009 12:31:16 +0000 alexey bokov http://bokov.net/blog/?p=186
  • платформы
  • вендоры
  • Amazon EC2 vs GoGrid vs Mosso
  • The Private Cloud: Enterprise-ready on and off premise by Stephen Herrod ( at cloudSlam-2009 )
  • Defining private clouds – Part 1, Part 2 – by Bernard Golden
  • How LinkedIn grew Bumpersticker to be the “Biggest Ruby on Rails app in the World? и Web Scalability Practices: Bumper Sticker on Rails

    • Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/amazon-ec2/about-cloud-computing-%d0%bf%d0%be%d0%bb%d0%b5%d0%b7%d0%bd%d1%8b%d0%b5-%d1%81%d1%81%d1%8b%d0%bb%d0%ba%d0%b8/feed/ 0     Небольшой хинт для запуска GigaSpace Service Container под Windows Vista http://bokov.net/blog/compute-and-data-grid/hint-to-run-gigaspace-service-containe-under-windows-vista/ http://bokov.net/blog/compute-and-data-grid/hint-to-run-gigaspace-service-containe-under-windows-vista/#comments Wed, 15 Oct 2008 10:03:49 +0000 alexey bokov http://bokov.net/blog/?p=120 Я недавно приобщился к private beta GigaSpace cloud tools – решил потрогать руками что за зверь. В поставке GigaSpace XAP .NET могут возникнуть ( во всяком случае на моем Vaio с Vista возникли )  проблемы с запуском gsc – контейнер печатает в цикле “counter is 0??counter is 0??counter is 0??counter is 0??counter is 0??” и никак не работает. Исправляется это запуском gsc.exe c заданным в качестве параметра командной строки конфигурационным файлом. Для .net версии GS XAP это выглядит так :
    gsc “C:\GigaSpaces\XAP.NET 6.6.0\Runtime\config\overrides\windows.xml”

    А вообще GigaSpace делает очень интересные вещи.

    Twitter Facebook LinkedIn LiveJournal FriendFeed Google Buzz Google Bookmarks Share/Bookmark

    ]]>     http://bokov.net/blog/compute-and-data-grid/hint-to-run-gigaspace-service-containe-under-windows-vista/feed/ 0