Apache Hadoop/Sparkの実技試験でビッグデータを扱うスキルを証明できるClouderaの認定資格

Hadoopの本番導入を前提とした問い合わせが増加中

　2016年、Apache Hadoopは公式に誕生してから10年目を迎えた。Apacheトップレベルプロジェクトに据えられていることから分かるように、オープンソース技術の中でも屈指の重要性を持つ。また、さまざまな企業から注目を集め、利用も拡大していることから（背景は次ページのコラムを参照）、言うまでもなく、エンジニアとして知るべき技術の1つとして挙げていいだろう。

　とはいえ、企業が採用するにはサポートサービスなどを提供してくれるベンダ（商用ディストリビューター）が必要となる。そうして設立されたHadoopの商用ディストリビューターのうち、最初の1社がClouderaだ。Clouderaは現在、100％オープンソースの「CDH」と、企業向けにサポートなどを含む商用のHadoopディストリビューション「Cloudera Enterprise」を提供している。また、同社は先駆者としてHadoopコミュニティを支え、Hadoopの普及にも貢献してきた。

　Clouderaが先駆者であるのはHadoop製品やサポートだけではない。Hadoopに関する教育においても「Cloudera University」という研修サービスを通じて、エンジニアのスキルアップを支えてきた。また同社では、研修サービスと併せて、Hadoopや、Hadoopと同じく分散処理フレームワークの1つである「Apache Spark」といったプロダクト、さらにデータ管理・データ分析などに関する知識・スキルの認定資格を提供している。

　こうした国内外におけるClouderaの取り組みやその成果について、日本国内におけるCloudera Universityの（同Japanの）起ち上げから参画している、トレーニングマネージャー兼シニアインストラクターの川崎達夫氏は次のように話す。

　「Hadoopは2011年にビッグデータをキーワードに大きな盛り上がりがあり、以降は少し落ち着いていました。最近では再び盛り上がりの兆しが見えています。前回と異なり、最近は本番導入を前提としたPOC（概念実証）の問い合わせもよく受けます。Cloudera Universityの受講者層も広がってきました。SIerなどIT企業だけではなく一般企業からの受講者も増えつつあります。Hadoopが最先端のIT技術を使う企業だけではなく、より一般的な企業にも普及しつつあると実感しています」（川崎氏）

コースは幅広くHadoop以外にも機械学習、Python、Rなど

　Clouderaの日本法人が設立されたのは2012年4月。実は、Cloudera University Japanは日本法人の設立前に立ち上げられた。Hadoopのサポートやトレーニングを日本語で提供してくれるのは、日本国内のエンジニア、IT企業にはたいへん貴重だったはず。早い段階からHadoopの本格導入・運用に着手した人の中には、Cloudera Universityで学んだという人も多いだろう。

　現在、Cloudera Universityで提供しているトレーニングコースには「Hadoopエッセンシャル ～１日でHadoopやビッグデータを学ぶ～」という初級コースから、開発者向けトレーニングや管理者向けトレーニングまで幅広い。他にも、機械学習、Python、Scalaなど特定技術に絞ったコースもある。こうしたものになると英語でオンライン開催ということもある。

　受講者について聞くと、川崎氏は「いろいろですね。本番導入を控えて切羽詰まっている人もいれば、新しいことを吸収したいという意欲があって学びに来る人もいます」と話す。なお、Cloudera Universityのトレーニング受講者の累計は、全世界で4万5000人、日本に限ると2000人だという。グローバルでは米国とインドに受講者が多く、特にインドは同社のHadoop認定資格の取得数も多いとか。これは米国企業からの受託・下請けを行う企業がインド国内に多いためだろうと、川崎氏は推測している。

　そもそも、Hadoop導入が決断されるのはどのようなタイミングだろうか。川崎氏は「当然ながらデータ量がきっかけになりますね。保有するデータが少なければHadoopなど要りません。Hadoop導入を決めるデータ量は導入時期にもよりますが、ポイントとしては『1台に収まりきらない』状況が見えたことではないでしょうか」と話す。つまり、何らかのしきい値があるのではなく、「1台でこの先やっていけない。分散環境で管理しなくては」という必要性がありHadoopに踏み切るようだ。