こんにちは。データエンジニアのみっつと申します。この記事はkubellアドベントカレンダーの１０日目の投稿です

2024も引き続き次世代データ分析基盤プロジェクトを推進しました😃

今回は、2024年の実績と2025年の展望について、次世代データ分析基盤のさらなる飛躍を目指す取り組みをお伝えします📘
(文章の大半はAIの力を借りて生成しました😃)

2024年の実績：並列型開発体制への移行と成果

開発参加メンバーの拡大と役割分担の進展

機能追加数の大幅増加：2023年のデータ基盤への機能追加数（チケット数）が約80件だったのに対し、2024年は約200件と2.5倍に増加しました。
アナリスト主導の新機能開発：アナリストのみでReverse ETLを活用した新機能を実現。エンジニアのリソース確保が難しかった機能も開発可能となりました。
迅速なデータ基盤立ち上げ：グループ会社のデータ基盤をゼロから約2週間で立ち上げました。本体構造の縮小移植により、実工数は約1人週程度で実現しました。
顧客向けレポート作成の効率化：Streamlitの導入により、顧客向けレポート作成の工数が大幅に削減しました（以前はデータ抽出などで人手を介していました）。
高度なセキュリティ要件の実現：旧データ基盤では難しかったセキュリティ要件を満たす実装に成功しました。

並列型開発体制への移行は、期待以上の成果をもたらしました。新旧データ基盤の世代交代が完了し、AIをはじめとした新データ基盤でしか実現できない機能も増えています。

プラットフォームとしての進化の必要性：開発参加者や利用ユーザは増加しましたが、次のレベルに進むためにはデータ基盤自体のプラットフォームとしての進化が求められます。
- 広く使われるデータ分析基盤へ：潜在利用者にはSQLの習得に時間をかけられない人も多くいます。対応するには自然言語ベースでの問い合わせにも的確に答えられる仕組みが必要になると考えています。
- データの資産価値を浸透する：並列開発体制への移行でデータ分析基盤の主要な開発者はアナリストまで拡大しました。しかし、アナリストは主にデータ利用部門の方々です。データを資産として活かしていくにはデータ生成部門の方々も参加が必要になってきます（データの正確な意味の提供や仕様変更をシームレスにデータ基盤へ反映するため）。
やりたいことに対してリソースが追いつかない：データエンジニアの人員拡大のみでの達成は難しいと感じています。
- データエンジニアは採用難：引き続きデータエンジニアの採用は難しい状況です。
- 仕組みでの解決が必要：システムや仕組みで課題を解決する方がコストパフォーマンスが良く、迅速に効率化を実現できると考えています。