データドリブンな事業運営をするためには、それを支えるデータ収集基盤、分析基盤が必要になります。Varealでは、クラウドサービス、オープンソース技術、商用製品を適切に組み合わせることにより、データ活用の目的・内容に応じた最適なシステム基盤構築、データエンジニアリングをご支援します。
データエンジニアリングサービス
このような課題はありませんか？
- 自社サイトを運用しているが、訪問者の分析できていない
- 事業でウェブサービスを行っているが、データ収集や活用ができていない
- IoT機器からデータが大量に送付されるが、活用方法がわからない
- 事業活動において収集されるデータを活用し、データに基づいた事業運営を加速できない
- データ基盤構築、データ分析ジョブ、データ連携、データの可視化、ファイルやAPI出力の設計、開発、運用業務がうまくできない
- データコンサルティング、分析基盤構築やプログラミングによるデータ加工・集計・整理などの作業に懸念がある
ソリューション
Vareal のデータエンジニアリングソリューションは、データコンサルティング、データ収集、蓄積、BIツールによるデータの可視化、AIによるデータ分析、データ分析基盤構築までの一貫したソリューションを提供し、お客様のニーズにあわせてデータ運用環境を実装します。
サービス内容
前提として、データの保存もツール提供を行うサーバーもクラウドを利用します。
また、データタイプ、流量、更新量、可用性等により導入ハードルや運用難度が変わります。そのため、基本的に最も多いデータタイプであるログデータ、テーブルデータ(csv等)をベースに考えてから、他を考慮していきます。
体制に関しては、アジャイル型を採用し、短いタームで経過報告と方針修正を行っていきます。
BIツールのインテグレーション
Googleが提供するDataStudioやOSSで提供されるような高機能なBIツールのインテグレーションを行います。
※BI（ビジネス・インテリジェンス）ツールとは、DWHに統合したデータを収集して分析し、その結果をビジュアル化してくれるツールを指します。
主に、扱うデータとのつなぎこみを行います。
そのため、ETLやデータ収集基盤のないお客様へは、ETLツールのインテグレーション、データ収集基盤、場合によってはデータ分析基盤までサポートいたします。
また、ツール導入となるためイントロとなる教材等も提供させていただきます。
ETLツールのインテグレーション
OSSとして提供されているETLツールのインテグレーションをおこないます。
※ETLツールとは複数データの抽出・変換を行い、それらをDWHに連携させるためのツールで、ETLとは「Exert（抽出）」「Transform（変換）」「 Load（接続）」の頭文字をとったものになります。
内容によっては、一部機能の作成も弊社で対応いたします。
お客様のサービスへの組み込み、社内利用ツールのデータ集約に活用することができます。
データの収集、加工、読み込みの自動化を目指します。
サービスの提供後、ETLツールの管理運用はハードルが高いと感じるお客様には、保守契約を締結いただくことで、弊社でサポートさせていただくことも可能です。
データ収集基盤構築
ETLツールだと少しオーバースペックだけれども、データを収集して決まった場所に保存したい場合に提供させていただくサービスです。
お客様顧客が持つデータが作られるツール、サービスのログ、数値データを収集する基盤を作成いたします。
データ分析基盤構築
データのを収集は出来ているが加工のノウハウや、分析する基盤がな無い場合、提供するサービスです。
統計処理を行う計算サーバーの構築と、バッチ実行による計算の自動化までをサポートいたします。
管理運用を自社でおこなうのが難しい場合、保守契約を締結いただければ弊社でアフターサービスまでご提供いたします。
ETLから分析レポートまでのパイプライン作成
ETLツール導入の場合、加工されたデータの読み出しまではできますが、表示は行えないため、BIツールのインテグレーションまで一貫して対応させていただくサービスです。
ETLの管理運用は弊社が行い、BIツールについてはイントロとなる教材をお客様にご提供することで、アフターサポートを行います。
データ整理から管理、分析活用までのコンサルティング
これからデータの収集、活用を行おうという段階のお客様へ、最初の一歩として弊社がコンサルティングを行い、一緒に要件定義から導入フローまでのスケジュールを敷くところまでサポートさせていただきます。その後は必要に応じて別途ご契約いただければ、引き続きご支援させていただきます。
AIツールとのつなぎ込みからAIシステム導入へ
ETLツール、BIツールを導入した後、AIを使った高度なデータ処理を行いたい場合に、そのインターフェースとなる箇所の構築を行いますう。
Varealにはデータエンジニアの他に、ソフトウェア開発に必要なエンジニアやデザイナーも揃っておりますので、インターフェイスの作成も含め一貫して対応することが可能です。
主な活用技術
SQL, Python, Javascript, Ruby
各種プログラミング言語を利用することで、データの収集や変換、集計などを行います。
段階と状態に応じたデータ格納場所
データを取り扱う上で、データはその段階と状態に応じた格納場所に置くよう設計する必要があります。
弊社では、データの段階と状態に応じてデータレイク、データウェアハウス、データマートに格納するインフラ設計を構築することができます。
これらの用語は専門性が高いため、簡単にご説明させていただきます。
データレイク
データが生成された状態から極力変更されていない「生データ」をこちらに格納します。
ここには、どのような形式のでも格納することができ、かつ容量を気にしないで取り扱うことができるのがポイントです。
そういった格納先を設けることによって、多くの新鮮な生データにいち早くアクセスできる状態をつくることができ、最新データの活用・促進に繋げることができます。
データウェアハウス
生データから、より品質の高いデータに加工されたものをこちらに格納します。
実際に意思決定や踏み込んだ分析を行う上で、このある程度の品質が保たれたデータ郡が必須となっていきます。
データマート
データウェアハウスのデータをもと元に部署、チーム単位の細かい要望に沿って処理されたデータをこちらに格納します。
部署、チーム単位で目的意識を持って加工されたデータを貯める事によって、効率的なフィードバックを得たり、迅速で的確な意思決定が行えるようになります。
データベース
クラウド上の各種データベース(RDBMS, NoSQL)やストレージに情報を溜め込みます。
具体例:
RDBMS: RDBMSとはリレーショナル・データベース管理システムのことです。
データの間に関連性をもたせることで、情報を重複することなく一元的に管理できます。WEBサービスや基幹システムにおいては基盤となるデータベースの形式で、OSSではMySQLやPostgreSQL、有償のものではOracleやSQL Serverなどが有名です。
NoSQL: SQLでデータを操作するRDBMS以外のデータベースの総称です。
ドキュメント指向データベースであるMongoDBやFirestore、キーバリューストア型データベースであるRedisなど、現代の大量なトラフィックをさばくために低遅延・高スループットな処理を実現します。
BIツール
BI(Business Intelligence)ツールとは、日々の業務やサービス運用から生じる多種多様なデータを目的ごとに集約し集計・可視化することで状況を正しく掴み、ビジネス上で有用な知見を得るためのソフトウェアです。
ETL
ETLとはExtract（抽出）、Tranform(変換)、Load（格納）の略で、様々な情報源（データソース）から発生するデータを有用な状態にして保存するためのデータ処理プロセスのことです。生の状態のデータはBIツールで利用できる状態ではなく、欠損値があったりフォーマットが適切でなかったりします。そのためデータソースとDWHへとデータを送る間にETLを行うことで、データを適切な形で保管することができるようになります。
プロセスの説明
下記２つをパッケージングしたものを実務フローとして提示する。
- データ整理から管理、分析活用までのコンサルティング
- ETLから分析レポートまでのパイプライン作成
1. ご相談
- ご相談
- データエンジニアリングのご説明
2. コンサルティング
- 目標についてヒアリング&再設定
- 顧客の持っているデータのヒアリング
- 設定した目標と持っているデータから取り組みの大まかなスケジュールを設定
3. PoC
- ソリューションの選定
- 小規模なETLツール構築
- BIツール導入
- 全体のパイプライン構築
- 動作テスト
4. 運用
- PoCで導入したETLツールを拡大
- クラウドインフラを、本番運用を想定して拡大
- 本番運用のためパイプライン構築
- 動作テスト
- BIツールの活用方法の教育
5. 保守
- ETLツールの管理運用
- BIツールの活用方法ご相談
6. AIの活用
AI開発サービスに進む
活用シーン
製品購入やサービス申し込み率の改善：
サービスの申し込み段階での離脱状況をウェブサイトや問い合わせデータから視覚化し、フローを改善することで離脱率を下げる。
人事評価データ収集：
人事評価に必要なデータが何かを定義し、データソースとKPIを明確化した上でデータフロー設計・構築し、BIツールで視覚化を行うことで、公平かつ納得感の高い人事評価を行う。
