[初心者向け3分解説] ETLとは何か: 3つのポイントから理解する

Reckoner編集部

2020.12.7

ここ最近、データ分析やビッグデータといった文脈で「ETL」という単語を耳にすることが増えてきました。以下では、「3分でETLの概要を正しく理解する」をテーマに、ETLについて分かりやすくお伝えします。

ETLとは何か

ETLとは、データ処理に関する E、L、T の頭文字を組み合わせた略語です。

  • Extract: データを抽出する
  • Transform: データを加工・変換する
  • Load: データをロードする

すなわち、ETLとは「データを抽出し、加工変換し、ロードする」一連の作業を指します。例えば、私たちが普段何気なく行っている以下のような作業も「手動のETL」とも呼べます。

  • 「東京都渋谷区渋谷1-1-1」という住所を、「東京都」と「渋谷区渋谷1-1-1」に分割する
  • 「03-1234-5678」という電話番号を、「0312345678」や「+81312345678」に変換する
  • 「1000000」という売上情報を、「1,000,000」や「100万円」に変換する

元データはあくまで「東京都渋谷区渋谷1-1-1」「03-1234-5678」「1000000」ですが、これらのデータを必要に応じて加工・変換して提供する。これが「ETL」です。

ETLツールとは何か

大量のデータを、様々なデータソースから取得し、ロード先のシステムに最適化されたデータに変換・加工する。人手では到底できない作業を機械的に行うツール、これがETLツールです。

これは「個人」と「企業・組織」のデータ変換・加工の違いを理解すると話が早いです。

個人の年賀状用住所データであれば、変換・加工が必要になっても数十件、数百件程度で済みますので、手動でも対応可能です。しかし、企業や組織が管理するデータは数百万件、数千万件、はたまた数億件以上を超えるデータとなる場合があります。

また、管理するデータ項目も多岐に渡ります。以下はその一例です。

  • 個人情報
    • 郵便番号、住所、氏名、メールアドレス、電話番号、顧客IDなど
  • 企業・組織情報
    • 会社名、住所、代表者名、担当者名、企業信用情報、企業IDなど
  • 購買データ
    • 購入日時、購入製品、購入個数、金額、値引き率、購買IDなど
  • 商談データ
    • 企業名、商談ステージ、見込売上額、商談確度、提案中製品、担当者名など
  • 財務データ
    • 売上、利益、給与、ボーナス、広告費、賃料、原価など

さらに、元データが所在する場所(データソース)も多岐に渡ります。

  • 会計ソフト
  • 営業支援ソフト(SFA)
  • 顧客管理ソフト(CRM)
  • マーケティングツール(MA)
  • ERPパッケージ
  • 部門管理データベース、など

このため、データ数、データ項目、データソースが違うことにより、以下のようなデータ連携が必要となります。

  • 「元データAを、システムBとCとDで利用する」
  • 「BとCとDでは、それぞれデータフォーマットが違うので別々に変換が必要」
  • 「BとCは、日単位の更新でよいが、Dは5分ごとの更新が必要」

このため、複数のデータソースからデータを取得し、各出力先に合わせてデータを最適な形で変換・加工し、必要なタイミングで各システムにロードできるETLツールが必要となり、多くの業種・業態で利用されるようになりました。

ETLツールを利用する3つのメリット

では、企業や組織がETLツールを利用するメリットは何でしょうか。3つのポイントから見ていきましょう。

1.専門的な知識がなくても利用できる

多くのETLツールは、プログラミング知識なしに利用できるように設計されています。例えば、当社のETLツール「Reckoner」(レコナー)を例にあげると、ドラッグ&ドロップで「データソース」「処理内容」「出力先」を選択し、画面上で入力するだけで、データ変換・加工を実施できます。

これは、専門的な知識を持つエンジニアに都度データ取得を依頼しなくてもよくなることを意味します。非エンジニアの担当者にとっては、自分が必要なタイミングでデータを変換・加工を行えることを意味します。そしてエンジニアにとっては、データ取得・加工といった業務に時間を割かずに済み、より優先度の高い業務に注力できるようになります。

2.データの変換・加工時のヒューマンエラーがなくなる

人の手でデータを加工する場合、ヒューマンエラーから逃れることはできません。ヒューマンエラーにより、「変換したつもりが変換されていなかった」「一部しか変換されていなかった」「間違ったデータが挿入されてしまった」といったデータの変換・加工ミスが発生しがちです。加工ミスがあった場合、データの再取得・再加工といった手戻り作業が必要になります。さらに、誰もエラーに気付かず間違ったデータに基づく意思決定が行われるリスクもあります。

ETLを利用する場合、「元データ→ETL→別システム」という流れで機械的にデータを取得、変換・加工、そしてロードされます。人の手を介在しないので、あらかじめ決められた条件やロジックに基づいてデータが正しく処理できるため、ヒューマンエラーが発生しません。

3.データ連携コストを削減できる

例えば、毎日・数十分~数時間かかる定型的なデータ変換・加工作業を、従業員やベンダーに実施させた場合、毎日少なくとも時給換算で数千円~数万円の人件費が発生します。また、手動作業であるためヒューマンエラーが起こりやすいことを考えると、トラブル対応でさらなる人件費がかかる場合もあるでしょう。

ETLツールは大きく分けて「買い切り型」と「月額型(サブスクリプション)」があります。買い切り型の場合は、数十万円~数百万円と一見高額ですが、少なくとも数年間利用することを考えると、日々のコストは安価になります。さらに、月額型の場合は「そもそもの費用が安価である(数万円程度~)」ことに加えて、「必要な時に利用して、必要なくなったらやめる」ことができるため、データ連携コストをさらに削減できます。

ReckonerでETLを無料お試し

Reckoner(レコナー)は、単純なデータ転送から複雑なデータ加工まで、様々な要件に合わせてデータ変換を行うETL製品です。非エンジニアでも簡単に利用できるよう、ドラッグ&ドロップでの直観的な操作を実現しているため、ETLの操作にかける時間を最小化し、本質的なデータ分析・データ活用により多くの時間を割けるようになります。

接続先は100種類以上(データベース、クラウド基盤、SaaSなど)に接続可能であり、対応製品にはオンプレミスのデータベース、AWSやGoogle Cloudなどのクラウド基盤、Salesforceやsansan、キントーンなどの SaaSなどが含まれます。

14日間無料トライアルが可能ですので、ぜひお試しください。不明点があれば、スタッフがオンライン、または訪問でご支援させていただきます。

今なら14日間無料!

資料請求、トライアルの申し込み、御社へ伺っての製品デモンストレーションまで、
お気軽にご相談ください。

資料請求・お問い合わせ