こんにちは、梶原(cw-kajiwara)です。 Biryani PJシリーズでの投稿です。今回の記事ではメッセージ検索機能におけるメッセージの差分マイグレーションを行うKafka Consumerアプリケーション、通称Indexerについて紹介いたします。
vol.1ではプロジェクト発足の背景・概要を、vol.2ではPJ前後のシステム構成、Elasticsearchの負荷試験考察やCWでの運用方法、vol.3ではデータマイグレーションについて紹介していますのでご興味あればぜひこちらもご覧ください。(ご興味あれば、と言いつつも読んでもらっていることを前提にしてしまっているところは所々あります)
続きを読むこんにちは、安達(cw-adachi)です。
前回までの記事では、vol.1でBiryani(ビリヤニ)プロジェクトが発足した背景や概要を、vol.2ではシステム構成、負荷試験や運用周りを紹介してきました。今回はこれまでサラッとしか触れてこなかったHBaseからElasticsearchへのデータマイグレーションについて紹介します。大量(2020年7月時点で60億以上)のメッセージデータを確実に、なおかつ出来るだけ速くマイグレーションするための戦略や細かな工夫をお伝えできればと思います。
続きを読むこんにちわ、cw-tomitaです。
前回の記事に続いて、Biryaniプロジェクトに関して、あれこれと書いていきたいと思います。なお、この記事は、先日公開した以下の記事の続きとなりますので、こちらを未読の方は、是非vol.1からお読みいただければと！
先の記事では、PJが始まった経緯、Elasticsearchを第一候補として選んだ理由等について書きました。今回は、POC/実装を進めていく中で、苦戦したポイントと解決方法に関して、主だったポイントを挙げていきたいと思います。
最初にどのようなものを作ったかをざっと紹介し、その上で、 今回の記事の中では、Elasticsearch 自体にフォーカスをあてて、色々と紹介していきたいと思います。 Sparkでのデータマイグレーションや、Scalaのindexerの実装等に関しては今回は取り上げないですが、別の機会で取り上げ予定なので、お待ちいただければと！
続きを読むこんにちわ、SRE部のcw-tomitaです。
今回は、7/17(金)に行われた全社合宿で、プロジェクトとしては惜しくもベストPJ賞を逃したものの、オーディエンス賞を受賞(全社跨いで、半期の間に実施された数々のPJの中で厳選された３つのPJだけが賞をもらえる)し、また、このプロジェクトをリードしたcw-kajiwaraが、このプロジェクトを通しての圧倒的なコスト削減の実績からCFO賞を個人受賞するという、上期の社内の賞レースを席巻した、メッセージ検索機能のリプレイス(通称：Biryani PJ) *1 に関して紹介したいと思います。
写真は、先週行われた全社のオンライン(役員・準備/進行担当の方を除く）合宿での、感動の受賞シーン。
*1:PJのキックオフ前のランチにBiryaniを食べ、あまりの美味しさに感動し、以後、いくつものBiryani専門店を食べ歩くほどのBiryaniフリークとなったcw-adachiによって、Biryani PJと名付けられました。
こんにちは、新井です。 子供と並んでアゲサゲコンボするのが愉快な今日この頃です。
チームでリモート環境を前提としたモブワークを始めて約1年が経ちました。 当初部分的に始めたモブプロが、プログラミング以外に領域を広げてモブワークになり、モブをベースとして仕事をするようになり……という変遷がありました。この経験で得られた知見を共有したいと思います。
続きを読むどうも。ご存じ Chatwork サーバーサイド開発部（PHP）の料金/プランチームメンバーでヘタレチャリダーのやまざきです。エクストリーム・プログラミングを現場で成功させるためにはエクストリームな出社ができてはじめてスタートラインに立てると思っています。最近、エクストリーム出社部に入部しました。
Chatwork にはさまざまな部活動があり、健康的な活動を支援する制度「ヘルシー部活制度」なんてものもあります。エクストリーム出社部でもヘルシー部活制度を利用して豊洲でお魚を仕入れてから出社して早朝お寿司パーティからの業務っていうのをやってみたいなあと密かに思っています。
この記事では新型コロナウイルス感染症(COVID-19) によりテレワーク、リモートワークが世の中的にも注目される中、やまざきが勝手に南伊豆町でリゾートワークしてきた話を紹介したいと思います。
続きを読むChatwork 坂本です。
本ブログは2020年1月23日に行われた、下記のコンテナ支部での発表を補足する内容で、eksctlの設定ファイルとvariantの具体的な使い方に焦点を当てて書きたいと思います。
目次