こんにちは！kubellデータエンジニアのみっつと申します。
2025年もアドベントカレンダーの時期ですね！！
今年も引き続きkubellのデータ分析基盤開発を推進しました。この投稿ではその成果と、来年に向けての展望をまとめます。
この記事はkubellアドベントカレンダーの２日目の投稿です。
参考情報
この投稿は、直近の登壇で利用した以下の資料を元にポイントを抽出、加筆したものです。
みん強第5回_kubellのデータ基盤開発の最新状況とAIの活用の実践について
TS-S205_昨年対比2倍以上の機能追加を実現するデータ基盤プロジェクトでのAI活用について
2025年の実績は、昨年対比２倍以上の機能追加を実現する見通し！
2025は11月末までに391件を完了済みで12月末までに400件を超える見込みです。2024年は年間を通して200件の実績でした。
※機能追加とは具体的には、データ分析基盤プラットフォームに対して機能リリースまで完了した開発を指します。
２年連続２倍成長を達成した現状について
昨年に引き続き、「並列型の開発体制」と「開発の役割分担」が機能したことに加えて、年明けから本格導入したAIエディタ（Cursor）を活用した開発が大きく寄与しました。
AIエディタの利点は、エンジニアに対しては細かい作業の短縮に貢献し、アナリストに対しては開発への参入の敷居を下げる効果を感じます。
2025年の機能追加数の内訳について
前期・後期（12月分は含まず）で比べると、後になるほど実績が加速しています。
昨年の実績の200件と比べると、前期のみで昨年に迫る実績になりました。
- 前期（１月から6月まで）：187件
- 後期（７月から11月まで）：204件
これは、AIエディタで生産性が底上げされるとともに、下記のような開発の加速に耐えうる運用の効率化を実施したことも功を奏したと言えます。
大幅に増えた機能（開発）を効率的管理できるように
- チケット管理の効率化：開発チケットの管理をnotionへ移行し、開発に関する指標も計測するようになりました。
- リリースプロセスの倍速化：リリース期間を従来の半分の期間へ短縮しました。
- データオーケストレーションの刷新：加速度的に増えるデータモデル（dbt）を安全・安心に管理する方法へ刷新しました。
※別のアドベントカレンダーにて後日、新データオーケストレーションのDagster導入について投稿する予定です。
参考までに、これまでの変遷について
- 2023年の機能追加数：80件
スモールスタートでシンプルな直列型の開発体制で整備を開始しました。しかし、まもなくデータエンジニアがボトルネックとなる問題に直面しました... 2024年の機能追加数：200件
拡大期に入るにあたって、開発体制を並列型へ移行しました。利用部門の開発者（主にアナリスト・アナリティクスエンジニア）が主体となって、必要なものを自分たちで開発できる体制となりました。 cf. 2024年の投稿並列型の開発体制
直列型から並列型へ - 開発の役割分担
開発の役割分担
2026年に向けた課題と展望について
まず課題として真っ先に上げられるのは、引き続きデータエンジニアの獲得難度は非常に高いというところです。
人手に頼るアーキテクチャはボトルネックに直結します。
この点はプロジェクトの立ち上げ当初から意識しており、いつでも・誰でもスムーズに開発できる体制を推進してきました。
- 設計、仕様、ADR(Architecture Decision Records)..etc、ドキュメントを残して、誰もがいつでも開発できるように。
- IaC、CI/CD、開発環境のコンテナ化..により、開発から運用までアジリティを保てるように。
- モデル開発、ETL・ReverseETL（取り込み・書き戻し）モダンデータスタックを導入して、最小限の開発で機能追加を可能に。
- 2024年からは、開発体制を直列型 -> 並列型として、利用者がDIYできるように。
これは、一言で表すと「属人性排除」といえる取り組みでした。
しかし、これからも成長を続けるには「属人性排除」では足りない世界になって来ていると感じます。
人がボトルネックとなる問題の排除へ
前段で振り返ったように、AIによる開発支援は生産性向上に対して大きな推進力となっています。
その進化も目覚ましく、その力をも最大限活かせる環境を整えることが、プロジェクトを最大速力で推進する源泉になると考えます。
具体的には、以下のようなイメージで人への依存を減らせると、引き続き成長を保てるかなと。
※あくまで、イメージにて
○機能を追加したい
- これまで：「ドキュメントの△を参照して対応お願いします」
- これから：「まずMCPで△に接続してください。そしたらAIエージェントに実装依頼して、上がったPRを確認して下さい」
○データセットを削除したい
- これまで：「まず後続への影響を調査・検証して下さい。そして、結果に応じて実装してください」
- これから：「まずAIで調査・検証してから、実装依頼しましょう。コンテキストは△、ガードレールは□を設定して下さい。そしたら、影響調査の結果をコンテキストに設定して、AIエージェントに依頼してください」
データプラットフォームの中心として使っているSnowflakeにある強力なAI活用機能について
Snowflake MCP Server
- AIエディタから開発環境へ接続して、独自構成を理解したクエリを生成できます。これによりクエリ生成時にdocsを調べたり試行錯誤する必要がほとんど無くなると期待できます。
Snowflake Intelligence
- Snowflake上で完結する高機能なAIアプリケーションを構築できます。
- 参考になる投稿：Snowflake Intelligenceをはじめから丁寧に
- マーケットプレイスからCKE(CortexSearchの一種)を取り込むことで、特定のコンテキストのAIデータベースを構築できるようになります。
まとめ
我々のプロジェクトはローンチした2023以降、毎年倍以上の成長を遂げてきました。
その源泉は「属人性の排除」によるボトルネックの解消でした。
しかし、進化を継続するにあたり引き続き人手を拡充することが厳しいデータエンジニアリングで最大速力を維持しつつ推進するためには、
次の段階の「人がボトルネックとなる問題」への対応が必要だと考えます。
そのために、コンテキストやAIの開発力を底上げする仕組みの整備が必要であると実感しています。 一方で我々は現状、それが簡単に実現できるものではないとも感じています…
しかし、これからも引き続き最新の技術を積極的に取り入れながらチャレンジを続けていきます!
このような取り組みにご興味のある方は、下記より是非ご応募ください！
一緒に未来を創っていきましょう！！
hrmos.co
