分散Key-Valueストアの本命 kumofs を、本日オープンソースソフトウェアとしてリリースしました！kumofs＠github kumofs関連資料まとめ kumofsとは？kumofsは、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
scale outの技術首藤 一幸Last-updated: January 5, 2010注: このページの文章は以下の記事の元原稿です。首藤一幸,"スケールアウトの技術",クラウドの技術, pp.88-101,(株)アスキー・メディアワークス, ISBN978-4-04-868064-6,20... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
|
Google App Engineを使った最初の作品 Tiny Message （http://tinymsg.appspot.com）をリリースしてまだ２０時間経っていないが、設計の過程でいろいろと学べたことがある。 その中でも一番収穫として大きいのは、「Google App Engineを使え... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、PHP、C++、Memcach... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に私用した発表資料は以下のとおりです。1. Happy Optimization最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
多数のTCP接続をハンドリングするサーバを書くなら、1コネクション1スレッドのモデルではなく、epollやkqueueのようなイベント駆動型のI/O多重化を行うべきだ、と言われます。だが、そのような主張は、「C10K問題」が書かれた2002年から7年経過した今でも有効なのでしょうか？ echoサー... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
近年(でもないか)、言語内に実装された軽量スレッド/軽量プロセスを利用することで、OSが提供するスレッド機能の限界を超えた数の並列処理を行うことが容易に出来るようになって来ています。PerlのCoro、RubyのFiber、Erlangのプロセスなどです。Perlについては少し詳しく解説しますが、... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
nanapi[ナナピ] | 7分であなたの生活を便利にしちゃうライフレシピ共有サイト本日2009年9月1日、株式会社ロケットスタートの新サービス「ナナピ」をリリースしました。「ナナピ」はライフレシピと呼ばれる生活の便利な知恵や、ノウハウをみんなに共有してしまおう！というサービスです。なんとか予定通... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
書評データベースの醍醐味は、パフォーマンスチューニングにあります。チューニングによっては、同じ処理でも1時間掛かる場合もあれば、1秒で終わるということもあり得る世界です。 僕はDBの魅力に取り付かれた者の一人です。DBという技術の奥深さが気に入っています。DBを極めると、どこの現場に行っても絶対に... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
図解求む。以下「プロトコル処理」と「メッセージ処理」を分けて扱っているが、この差が顕著に出るのは全文検索エンジンや非同期ジョブサーバーなど、小さなメッセージで重い処理をするタイプ。ストリーム指向のプロトコルの場合は「プロトコル処理」を「ストリーム処理」に置き換えるといいかもしれない。 シングルスレ... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
継続ベースのウェブアプリケーションフレームワークとかたまに見かけたりするんですが、継続をセッション管理に使うとかは大したメリットがなくて、スケーラビリティの確保のために有益であると考えてます。2009年にもなって我々はセッション管理に困ってたりはしないんです。Webアプリケーションにおける処理時間... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
Googleの成功の最大の理由の一つがスピードだ。検索は通常、一瞬で結果が出る。そのほかのサービスも、速いものが多い（Gmailだけは例外だが）。このスピードをもたらしている要素の一つが、同社の徹底的に簡素化された設計と大規模なサーバファームだが、ページのロードを高速化するための果てしない最適化努... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
Facebookで写真配信のために使われているストレージシステム「Haystack」に関する情報が公開されました。（Needle in a haystack: efficient storage of billions of photos）Facebookは最初はNFSを使っていたようです。しかし... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
2009/05/12米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わ... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
|
2009-03-31MySQLのEXPLAINを徹底解説!!以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
こんにちはオークション事業部プラットホーム技術のチャックです。オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドを翻訳してみました。Googleの検索システムの10年間の進化の軌跡が... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
こんにちは、地域サービス事業部の吉田一星です。今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。複数のマシンへの分散処理は、プロセス間通信や... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか目次この記事についてFriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存している... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。キー・バリュ... [ 詳細 ] [ 関連 ] [ ニコニコ風 ]
|
![プログラム・フレームワーク系情報まとめ [ pg.feed ]](http://img.awasete.com/image.phtml?u=http%3A%2F%2Fpg.thumbnailcloud.net%2F)