Comprehensive service that integrates all required technologies All the technologies required to leverage big data including compound event processing (2) and distributed parallel processing, are integrated into the cloud platform, which is provided as a service.
〔本サービスの特長〕 必要な技術が全て統合されたトータルサービス 複合イベント処理( 注2 ) 、 並列分散処理など、ビッグデータの利活用に必要な技術がクラウド上に統合されたプラットフォームを、サービスとして提供します。
In the system, a data analyzer can specify the dependency, parts for requiring distributed parallel processing using Hadoop Streaming, and they can be processed only for updated and dependent part, with flexibly selecting parallel or sequential execution.
提案システムでは,データ解析者は解析プログラムとデータの間の依存関係や,Hadoop Streamingを用いた並列分散処理を行いたい部分を示す設定ファイルを記述し,解析プログラム群の実行時には,依存関係をチェックし最新でない部分のみ選択的に直列または並列に実行できる.その設定ファイルでは解析プログラムの異なるデータ等に対する繰り返しを一括して記述しながら,実行時には個別に依存関係をチェックするようにすることができる.また実行時には,実際に並列分散処理を行うか直列に実行するかを実行時に指定したり,並列分散処理のMapperプログラムのみを実行したり,規定のMapperプログラムを提供するような補助機能を持つ.
IIJ currently offers IIJ GIO Hadoop Solution (announced in October 2012), which allows for the use of a distributed parallel processing environment, and IIJ GIO BigData Labo (announced in June 2013), which provides a trial environment and technical support for verifying the effects.
これまで、ビッグデータの並列分散処理環境をクラウド上で利用できるIIJ GIO Hadoopソリューション(2012年10月に発表)、ビッグデータ活用の効果を検証するトライアル環境の提供と技術支援を行うIIJ GIOビッグデータラボ(2013年6月に発表)の2つのソリューションを提供してまいりました。
Based on the technology Fujitsu Laboratories has cultivated over its HPC development, the company has now developed a technology to expand computation volume per GPU without compromising training accuracy.Highly-efficient distributed parallel processing can be provided by appropriately adjusting the learning rate in accordance to the degree of the deep learning training progress.
今回、富士通研究所がこれまでにHPC開発で培った技術にもとづき、ディープラーニングの学習の進捗度に応じて学習強度を適切に調整することで、学習精度を低下させずに1GPUあたりの計算量を拡張する技術を開発し、高効率な分散並列処理を実現しました。
Developed and released by the Apache Software Foundation (ASF), Apache Hadoop is an open-source framework for efficiently performing distributed parallel processing of massive volumes of data.
Apache Software Foundation(ASF)が開発・公開している、大規模データを効率的に分散・並列処理するオープンソースソフトウェア。