スカウト型転職サービス「ミイダス」におけるデータ分析基盤の構築事例についてお話します。 ミイダスではサービスのメインDBとして Amazon Aurora MySQL を活用しています。データ分析基盤の構築以前は、サービスのログデータを読み込み専用の Aurora インスタンスに格納して活用していました。開発者が慣れている SQL で、ログデータの検索や集計が行えるためです。サービスの成長に伴いログデータ量が多くなり、それによって SQL を使ったデータ抽出に時間がかかるようになりました。その課題を解決するために、S3 を中心としたデータ分析基盤の構築に着手しました。データ分析基盤においては、AWS DMS, Amazon S3, AWS Glue, Amazon Redshift, Amazon QuickSight などの AWS サービスを活用しています。各 AWS サービスの選定理由、活用方法についてご紹介します。
ミイダス株式会社 CTO 大谷 祐司 氏
Download slides
56:14AWS では、現在 200 を超えるサービスを提供し、そのコアの一つであるデーターベースや分析サービスも機能が改善され続けています。このセッションでは、その開発に際し、開発者の方へ届けたい価値に対する思い、そしてサービス一覧や機能改善のサマリーをご紹介します。
55:34EXCEL での台帳管理にはじまり、基幹システムが扱うビジネス現場のデータや IoT デバイスが送信する生産現場のデータなど、皆様の周りでは多くのデータが生まれています。最も価値のある資源とも言われる “データ” の活用には高度な専門知識を持つ人材や高価な基盤整備は必要ありません。本セッションでは身近なデータからすぐに使える BI サービス、 Amazon QuickSight の利用手順を実際の
54:34製造業界にとって、ものづくりにおける生産性やレジリエンス、サステナビリティの向上と、そのためのデータ利活用は急務となっています。しかし、データを蓄積、分析、活用するための分析基盤を構築するだけでは不十分です。目指すべき将来像やデータ活用の目的といった経営層のビジョン、整合した組織・体制、現場のアイデアを具現化する仕組みなど、トップダウンとボトムアップの両面での改革が必要です。本セッションでは Pa
54:49データから価値を生み出すためには、経営、ビジネス、テクノロジーなど複数のステークホルダーが一体となってプロジェクトを推進していくことが求められます。本セッションでは、金融機関におけるデータ活用にフォーカスし、AXA 様からは組織横断でのデータ活用プロジェクトの推進、MUFG 様からは人事部門によるデータを活用した組織変革の挑戦について、テクノロジーのみならず、組織や人材など多面的な観点からお話を頂
53:10消費者行動が様変わりする中、流通/小売業のお客様のみならず、消費財メーカーの皆様にとっても消費者像とその行動の理解は重要なテーマであることは変わりません。しかし、「データを溜めていない」「データを活用していない」「そもそも何をすべきか分からない」というお客様の声は数多く頂きます。当セッションでは、Amazon/AWS の最新ソリューションのご紹介と、お客様のデータ活用事例を通じて、消費者像/行動理
30:41お客様が運用されているアプリケーションには規模の大小があるもののある程度の負荷の波が生じます。発生する高負荷においてもアプリケーションユーザーの方のエクスペリエンスに影響を与えないよう、バックエンドデータベースに余裕を持たせた構成を取るケースもありますが、2022 年に一般提供が開始された Aurora Serverless v2 は負荷に応じて自動でスケールする機能を備えています。本セッションで
29:21お客様がアプリケーションの負荷に応じてライセンスを気にすることなくデータベースのサイズを変更できる環境を利用するためには、既存のアプリケーションの修正が避けられません。AWS ではデータベースの移行や、アプリケーションの変更を行うサービスなどを提供していますが、本セッションではこうしたサービスやツールをどのように活用すればデータベースの変更を進められるのかを紹介します。 アマゾン ウェブ サービス
28:52ユーザやデバイスから得られた情報をリアルタイムで処理して活用することは高い付加価値を生み出します。そのためには複数あるサービスや実装方法から最適な構成を選択する必要があります。本セッションではリアルタイムでストリームデータを処理することにフォーカスし、AWS でのストリームデータの扱い方と複数あるサービスの使い分け方、サーバレスサービスを利用したパイプラインの構築の仕方をご紹介します。セッションを
25:02多くのユーザーに対して高速なデータ処理を求められるアプリケーションで使用するデータベースとしては、リレーショナルデータベースだけでなく、NoSQL データベースという選択肢もあります。本セッションでは、こうしたアプリケーションの例としてオンラインゲームを題材とし、NoSQL データベースをどのように活用することができるのか、その具体的なユースケースを事例を交えて紹介します。 アマゾン ウェブ サー
30:37蓄積したデータを有効活用して行くために、データ共有という考え方があります。本セッションでは、データ共有のトレンドについて解説し、それを実現する AWS サービスと具体的なユースケースを紹介します。 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 久保 和隆
29:29日立 Astemo では、全社での製造現場のデータ利活用を進めています。我々は多くのグローバル製造拠点を有しておりますが、製造ラインやシステムは、拠点や製品ごとにサイロ化されています。全社の製造情報を一元的に管理する試みは我々にとって大きな挑戦です。この取り組みに関し、推進方法や構築した機能、展開に当たっての苦労した点についてご紹介します。 日立Astemo株式会社 情報システム統括本部 IoT推
29:03ヤフーの広告事業を下支えするデータ活用組織におけるデータ基盤と、その活用を行う組織についてお話しします。 ヤフー株式会社 データマーケティング本部 部長 荒川 元秀 氏
26:34機械学習はイノベーションを加速するための鍵となっています。機械学習の成熟に伴い、データエンジニアやデータサイエンティストといった方々がこれまで以上に緊密に連携する必要が出てくる傾向が見られています。本セッションでは機械学習の統合開発環境である Amazon SageMaker Studio を中心として、Spark による大規模データの前処理・可視化・分析や、学習、推論まで一気通貫で単一インターフ
29:28クラウドにおける ETL の選択肢は多様にありますが、大規模なデータを素早く処理する上では AWS Glue による並列分散処理が有効です。AWS Glue によって、お客様は利用者のニーズに合わせたやり方でスケーラブルな ETL を開発できます。しかし、AWS Glue の Spark ジョブには馴染みがなく機能の活用に踏み出せていないお客様も少なくないと思います。そこで本セッションでは、その仕
28:40ログはただ収集すれば終わりという訳ではありません。例えば、セキュリティインシデントが発生した場合は、ログの迅速かつ効率的な調査/分析が必要です。Amazon OpenSearch Service は、このようなニーズを満たす分散型のオープンソース検索および分析サービスです。本セッションでは、収集したログを有効的に分析する方法に加え、Amazon OpenSearch Service Update
27:40分析したいデータは必ずしも社内の基幹データベースにあるとは限りません。各サービスシステムに分散されていたり、SaaS やマルチベンダ、協業企業とのデータ連携の場合は社外にあるなど多様化しています。本セッションでは、共通リポジトリとしてデータレイクに集約するアプローチのほか、各分散されたデータソースにダイレクトにアクセスする方法など、AWS 内外の様々なデータソースを効率的に分析するための方法をご紹
25:31すでに数万社のお客様にご利用いただいている Amazon Redshift ですが、今もなおお客様の声をもとに進化し続けています。本セッションでは、そんな Amazon Redshift の最新機能を有効活用することで実現できるこれまで以上にコスト効率よくかつ運用負荷の低いデータ活用方法について技術的に解説します。 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 池田 敬
24:01みずほ銀行のデジタルマーケティングへの取り組みにおける AWS の活用について、行内のデータ利活用や統計データ提供サービス「Mi-Pot（ミーポット）」を事例にご紹介します。 株式会社みずほ銀行 デジタルマーケティング部 マーケティング開発チーム 調査役 高谷 親信 氏
31:11オンプレミス環境で構築された従来型のデータウェアハウス (DWH) や Hadoop ベースの基盤では、部門ごとに構築された基盤がそれぞれデータサイロとなってしまい、組織横断でのデータ活用が困難であったり、リソースの追加に膨大な時間や工数がかかり、急増するデータやユーザーの要望に対応できない、といった課題があります。本セッションでは、こうした課題を解決し、クラウド上でモダンな DWH, Hadoo
