◇新年のご挨拶
昨年は、本ブログ上でのＫＹ法に関する報告は殆どしておりませんでした。ＫＹ法関連作業や、計算毒性学研究会の立ち上げやその関連作業、ＪＡＳＩＳ展示会やランチョンセミナー対応、日本動物実験代替法学会大会での企業展示等でパタパタしており、なかなかアップの時間が取れなかったので申し訳ありませんでした。
現在、ＫＹ法の基本は殆ど出来上がっております。昨年はＫＹ法と他の一般的な多変量解析／パターン認識手法を組み合わせることで、従来手法単独でデータ解析を行なった場合の適用結果を大幅に改善出来るということを中心に展開しておりました。例えば、ＫＹ法＋ＰＣＡやＫＹ法＋クラスタリング等です。まだまだいろいろな組み合わせが考えられますので、ご期待ください。
◇ＫＹ法特許関連の報告
昨年末に、ＥＵよりＫＹ法の特許に関する審査官からのクレームがきて、その内容に対応したところです。ＫＹ法に関する特許は殆ど完了し、ＥＵでの特許が残っていましたが、これで特許関係の作業は完了するものと期待しています。今年はＫＹ法にとりましてよい年になるように願っております。
ＫＹ法自体がクラス分類とフィッティング手法で総数６種類の手法があり、関連手法が一つで総計７種類となります。これらを日本と米国およびＥＵに出願すると総計で２１出願となりました。これらの対応に、かれこれ６年以上はかかってきました。特許の審査期間の短期化を目指して各国が頑張っていますが、結構時間がかかることは事実です。今回の特許出願作業は私の家内が国内／国外出願を見てきたので私たちのレスポンスは早かったはずですが、それでも数年単位の時間がかかります。特許出願に関する現実はまだまだ厳しいですね・・。
◇データ解析手法を巡る大きな環境の変化（ビッグデータやIoT)とＫＹ法の役割
既にご存じのようにビッグデータが大きく取り上げられるようになってきました。またIoTの展開により、データ蓄積のスピードが急劇に加速されると予想されます。データ解析と言えば多変量解析／パターン認識ですが、今回はこれら技術のみならず人工知能技術を用いてのデータ処理が大きく展開されようとしています。
従来から展開されてきた多変量解析／パターン認識は、データ解析、特に要因解析力を重視しているため、ノイズデータに弱く、扱えるサンプル数もさほど大きくないという事が前提でした。従来手法が持つこのような特性は、現在話題となっているビッグデータへの直接的な対応がかなり難しいことを想像させるに十分です。従って、ビッグデータを扱える新世代のデータ解析手法の展開が急務となっています。この点で、基本原理上から、大量データを扱え、大量データを扱ってもその解析精度を大幅に向上させる事が出来るＫＹ法の役割は今後急速に増大してゆくものと期待しております。
◇人工知能とＫＹ法
ビッグデータ時代が来ると同時に、データ爆発に対応する手法としての人工知能が大きく期待されています。ニューラルネットワークによる深層学習等は、今後急速に原理の解明や展開がなされるはずです。このような新世代の人工知能技術とＫＹ法の連携や融合をインシリコデータの大きな課題として、今後積極的に取り入れてゆきたいと考えております。
新しい時代に向けて頑張りますので、よろしくご支援お願い致します。
以上
湯田 浩太郎
2016/01/06
2014/09/26
統計関連連合学会でのＫＹ法関連発表です：KY-methods was presented on the Japanese joint statistical meeting
２０１４年度統計関連学会連合大会 ９月１３－１６ 東京 にて発表いたしました。
私の演題は「ビッグデータ対応の二クラス分類KY(K-step Yard sampling)法の開発と展開」というもので、ＫＹ法の基本概念と、そのバリエーション（現在①２モデル判別分析ＫＹ法、②①モデル判別分析ＫＹ法、および③モデルフリー判別分析ＫＹ法）についての概要を発表しました。なお、発表要旨はこちらとなります。本講演に興味があります方はさきの要旨を参照ください。あるいは、より詳細な説明や、発表の時に用いたＰＰＴファイルをご希望されます方は、本ブログにて連絡いただくか、contact@insilicodata.comにメールいただきたく存じます。
統計関連分野では、データ解析実施過程で新たにサンプル空間を作りかえるという発想が無いようなので、今回はＰＰＴファイルの中に、この手順を大きく明記し、発表時もきちんと説明しました。
質問は、ＫＹ法の他の発表時にもありましたが、決定木に似ているとの質問がありました。これも、ＫＹ法を発表していると頻度高く質問される項目です。基本的にＫＹ法は多段階階層的な手法であるがため、同様な多段階階層型の決定木と混同されるようです。
１．個々の段階は、ＫＹ法は完全分類された２クラスターと分類出来ない一つのクラスターで、合計３クラスターで構成されます。
決定木は、エンタルピー等の指標によりサンプル群が分類されます。この時、各クラスターの分類率が高くなるように計算されますが、ＫＹ法のように、１００％分類された領域が出来る保証はありません。１００％分類が完了しないがために、さらに下位の方に新たなクラスターが形成されるようになり、ステップが進むほどクラスターの数が多くなり、全体として大きな木のような下側に向かって広がる形を取ります。ＫＹ法は最後まで常に３クラスターであり、２クラスターが完全分類されたもので、残る分類できなかったクラスターの一個だけが下の階層に持ちこされるようになります。
２．階層構造について
ＫＹ法の階層構造は常に３クラスターで、最後の階層は完全分類が実現されるので、二つのクラスターとなる。
バイナリーツリーは、階層が進む（下の階層に行く）程、クラスターの数が増え、全体的にはツリー構造、あるいはパラソルのような形となる。
３．分類について
ＫＹ法は個々の階層で必ず１００％分類されたクラスターがでてくる。１００％分類出来ないサンプル群はグレーサンプルとしてそのすべてが下の階層に移る。
決定木は各階層で１００％分類されたクラスターが出来ることは殆ど無い。個々のサンプルの分類成功不成功は、ツリー構造の最下層ステップに着くまで決定出来ない。
私の演題は「ビッグデータ対応の二クラス分類KY(K-step Yard sampling)法の開発と展開」というもので、ＫＹ法の基本概念と、そのバリエーション（現在①２モデル判別分析ＫＹ法、②①モデル判別分析ＫＹ法、および③モデルフリー判別分析ＫＹ法）についての概要を発表しました。なお、発表要旨はこちらとなります。本講演に興味があります方はさきの要旨を参照ください。あるいは、より詳細な説明や、発表の時に用いたＰＰＴファイルをご希望されます方は、本ブログにて連絡いただくか、contact@insilicodata.comにメールいただきたく存じます。
統計関連分野では、データ解析実施過程で新たにサンプル空間を作りかえるという発想が無いようなので、今回はＰＰＴファイルの中に、この手順を大きく明記し、発表時もきちんと説明しました。
質問は、ＫＹ法の他の発表時にもありましたが、決定木に似ているとの質問がありました。これも、ＫＹ法を発表していると頻度高く質問される項目です。基本的にＫＹ法は多段階階層的な手法であるがため、同様な多段階階層型の決定木と混同されるようです。
１．個々の段階は、ＫＹ法は完全分類された２クラスターと分類出来ない一つのクラスターで、合計３クラスターで構成されます。
決定木は、エンタルピー等の指標によりサンプル群が分類されます。この時、各クラスターの分類率が高くなるように計算されますが、ＫＹ法のように、１００％分類された領域が出来る保証はありません。１００％分類が完了しないがために、さらに下位の方に新たなクラスターが形成されるようになり、ステップが進むほどクラスターの数が多くなり、全体として大きな木のような下側に向かって広がる形を取ります。ＫＹ法は最後まで常に３クラスターであり、２クラスターが完全分類されたもので、残る分類できなかったクラスターの一個だけが下の階層に持ちこされるようになります。
２．階層構造について
ＫＹ法の階層構造は常に３クラスターで、最後の階層は完全分類が実現されるので、二つのクラスターとなる。
バイナリーツリーは、階層が進む（下の階層に行く）程、クラスターの数が増え、全体的にはツリー構造、あるいはパラソルのような形となる。
３．分類について
ＫＹ法は個々の階層で必ず１００％分類されたクラスターがでてくる。１００％分類出来ないサンプル群はグレーサンプルとしてそのすべてが下の階層に移る。
決定木は各階層で１００％分類されたクラスターが出来ることは殆ど無い。個々のサンプルの分類成功不成功は、ツリー構造の最下層ステップに着くまで決定出来ない。
2014/06/30
統計関連学会連合大会にて最新のＫＹ法について発表いたします。
２０１４年度統計関連連合大会が９月１３日（土）から１６日（火）の日程で、東京大学本郷キャンパスで開催されます。
http://www.jfssa.jp/taikai/2014/
湯田はこの大会にて
http://www.jfssa.jp/taikai/2014/
湯田はこの大会にて
「ビッグデータ対応の二クラス分類KY(K-step Yard sampling)法の開発と展開」
との演題で発表いたします。
発表内容は、ＫＹ法の基本概念説明および、その二クラス分類手法への展開状況等を中心に発表いたします。また、ＫＹ法は従来から展開されている多変量解析/パターン認識手法を適用し、その運用方法を変えることで、従来手法では得られなかったデータ解析上での様々な特徴や利点を達成するものであることを説明いたします。
ＫＹ法に関心のある方は、是非ともこの統計関連連合大会に参加され、ＫＹ法のより詳細な話や、最新の展開状況等に関する発表を聞いていただければと存じます。
２０１４年６月３０日
文責：湯田 浩太郎
発表内容は、ＫＹ法の基本概念説明および、その二クラス分類手法への展開状況等を中心に発表いたします。また、ＫＹ法は従来から展開されている多変量解析/パターン認識手法を適用し、その運用方法を変えることで、従来手法では得られなかったデータ解析上での様々な特徴や利点を達成するものであることを説明いたします。
ＫＹ法に関心のある方は、是非ともこの統計関連連合大会に参加され、ＫＹ法のより詳細な話や、最新の展開状況等に関する発表を聞いていただければと存じます。
２０１４年６月３０日
文責：湯田 浩太郎
2013/07/08
ビッグデ－タ解析とＫＹ法： Big data-analysis and the KY methods.
時代の変化と「ビッグデータ解析」：
The "big data analysis" and change of time
先日、ＮＨＫのＴＶ番組で見ましたがビッグデータ解析が急速に普及しているとの話でした。 このため、統計や多変量解析/パターン認識のわかる人が求められているが、現在のビッグデータ解析市場の広がりになかなか対応できていないという話でした。
このような話は、創薬や化合物関連分野で長期にわたりデータ解析による薬物設計やインシリコスクリーニング、さらには毒性評価等を行なってきた私にも朗報です。
現在取りざたされているビッグデータ解析は主として市場データの分析を行なうもので、手法的にはトレンド解析に近く、一昔前にはデータマイニングとして脚光を浴びたものの発展形です。 当時はデータベースの拡大により、データベースに保存されているデータ量が急激に拡大したので、このデータの山をデータ解析を行なう事で新たな情報や事実の発見につなげるという事が大きな目的でした。 この作業は、データベース中のデータの集まりをデータの山ととらえ、この中から新事実（宝）を探すという事で、「データマイニング」と呼ばれました。
現在は「データマイニング」当時と比較すると、データ入手のインフラ整備が急激に進んでいます。 単に大量のデータをデータベースとして保存するだけでなく、大量の顧客やその市場データが日常的にリアルタイムで集まるようになりました。 この日々集まる大量のデータの高度な活用が必要となり、これが「ビッグデータ解析」という名のもとに注目されるようになったようです。 正に、タイムリーで時代の変化や要求に答える技術だと思います。
大量データの扱いという観点での「ＫＹ法」：
The "KY-methods" in terms of handling large amounts of data
「ＫＹ法」は大量のデータを扱う事が可能なデータ解析手法です。 しかも、通常のデータ解析手法が有するデータ解析力を極限近くまで高めています。 「ＫＹ法」の基本である、「リサンプリングによる繰り返し解析」の原理は、扱う対象となるサンプル数がどんなに増えてもデータ解析力を低下することなく、最後まで実行できることを保証します。
統計と異なり、多変量解析／パターン認識では、解析対象となるサンプル数が増えると、肝心のデータ解析力や精度が低下してしまいます。 これはサンプル数が大きくなると、データ解析として考えた時、データ解析の目的を邪魔する、あるいはノイズとなるサンプルが絶対数的に増えてしまうことが大きな原因です。 要因解析を大きな実行目的とする多変量解析／パターン認識では、データ解析目的と何の関係もないサンプル（ノイズサンプル）が増えると、急激にそのデータ解析能力が低下してしまいます。
統計では、ノイズサンプルがサンプル分布の外周部分を構成する事で、サンプル分布をより完全なものとしてとらえることが出来るようになります。 従って、統計はノイズサンプルの存在に強いデータ解析手法であり、同時にサンプル数が多い方がより精度の高い結果が期待できる手法と言えます。 しかし、多変量解析／パターン認識は、要因解析力が強い分だけ、サンプル分布を乱すノイズデータに弱い（影響を受けやすい）手法と言えます。 また、サンプルが多くなるほどデータ解析の信頼性が低下してしまいます。 従って、多変量解析/パターン認識を適用する場合は、データ解析前のサンプル調整にかなり注意する事が必要です。
データ解析を行なう場合は、このような事実を知った上で慎重にデータ解析マネージメントを行なう必要があります。 データをいっぱい集めて、エイヤっとばかりに多変量解析/パターン認識を実行しても、有意義な結果が得られるはずはありません。 何かやっているという実感はありますが、実際は意味のない結果に振り回されているだけです。
創薬研究とビッグデータ解析および「ＫＹ法」：
Drug design and big data-analysis and the "KY-methods"
現在のビッグデータ解析で対象となるマーケティング関連のデータ程ではありませんが、創薬や化合物関連研究分野でも、一昔前と比べると、かなり大量のデータがデータベースに蓄えられるようになりました。 また、コンビナトリアルケミストリー、ＨＴＳ、インシリコスクリーニング等の新たな技術も展開されるようになり、この研究分野では昔と比べて桁違いに大量の化合物の処理が求められています。
大量化合物の処理のみならず、その処理での要因解析力や、予測精度も、たとえサンプル数が大幅に増えたとしても、従来と同等、あるいはそれ以上の結果を出すことが要求されています。
現在展開されている多くの多変量解析／パターン認識手法は、現在求めているような大量のデータを扱う事を前提として開発されたものではありません。 この点で、現代が求める大量サンプルの扱い下での要求事項を満足する事は極めて困難です。 一般的には、サンプル数が増えると情報量が増すので、良い解析が出来るとイメージされるようですが、多変量解析／パターン認識ではその逆となります。 何度も申し上げますが、データ解析の品質が下がるのはノイズサンプルの絶対量が増えるためです。
用いるサンプル全てがデータ解析に良好な情報を与えるものである場合は、当然ですがサンプル数が増えるほどデータ解析の信頼性は向上します。 しかし、この場合は外挿性という観点で不安となります。 純粋で理想的な環境下で実行された解析では、普遍のルールを取り出せた場合は良いのですが、中途半端な場合は、純粋な環境という事で外的な揺れに弱いデータ解析結果となっている可能性が高いのです。 人間と同じで、データ解析もある程度のノイズを含んでいた方が、外的環境に強い結果が出来る可能性があります。
とにかく、多変量解析/パターン認識を行なう時は、データ解析前に行なうサンプリングをきっちりと行なう事が必要です。 この作業が、データ解析の成否を左右する極めて重要なステップです。 ただ、数だけ揃えれば何とかなるという考えでは、精度や品質の高い解析は及びもつきません。 ノイズの多いサンプルを用いた解析では、要因解析というよりも、データの傾向をとらえる「トレンド解析」が重要となりますし、これが本来の目的です。 ノイズを含んだサンプルを用いて多変量解析/パターン認識を行なう場合は、ここでは書きませんが、様々なノウハウを駆使しての解析が必要となります。
この点で「ＫＹ法」は、①大量サンプルに対応出来ること、 ②サンプルが多くてもデータ解析力や精度を高めた解析が出来るという点で、現代が求めているデータ解析に答える手法と考えています。 今後は、この「ＫＹ法」の展開に全力を尽くしてまいります。
よろしくご支援のほどお願いいたします。
文責：
株式会社 インシリコデータ 湯田 浩太郎
The "big data analysis" and change of time
先日、ＮＨＫのＴＶ番組で見ましたがビッグデータ解析が急速に普及しているとの話でした。 このため、統計や多変量解析/パターン認識のわかる人が求められているが、現在のビッグデータ解析市場の広がりになかなか対応できていないという話でした。
このような話は、創薬や化合物関連分野で長期にわたりデータ解析による薬物設計やインシリコスクリーニング、さらには毒性評価等を行なってきた私にも朗報です。
現在取りざたされているビッグデータ解析は主として市場データの分析を行なうもので、手法的にはトレンド解析に近く、一昔前にはデータマイニングとして脚光を浴びたものの発展形です。 当時はデータベースの拡大により、データベースに保存されているデータ量が急激に拡大したので、このデータの山をデータ解析を行なう事で新たな情報や事実の発見につなげるという事が大きな目的でした。 この作業は、データベース中のデータの集まりをデータの山ととらえ、この中から新事実（宝）を探すという事で、「データマイニング」と呼ばれました。
現在は「データマイニング」当時と比較すると、データ入手のインフラ整備が急激に進んでいます。 単に大量のデータをデータベースとして保存するだけでなく、大量の顧客やその市場データが日常的にリアルタイムで集まるようになりました。 この日々集まる大量のデータの高度な活用が必要となり、これが「ビッグデータ解析」という名のもとに注目されるようになったようです。 正に、タイムリーで時代の変化や要求に答える技術だと思います。
大量データの扱いという観点での「ＫＹ法」：
The "KY-methods" in terms of handling large amounts of data
「ＫＹ法」は大量のデータを扱う事が可能なデータ解析手法です。 しかも、通常のデータ解析手法が有するデータ解析力を極限近くまで高めています。 「ＫＹ法」の基本である、「リサンプリングによる繰り返し解析」の原理は、扱う対象となるサンプル数がどんなに増えてもデータ解析力を低下することなく、最後まで実行できることを保証します。
統計と異なり、多変量解析／パターン認識では、解析対象となるサンプル数が増えると、肝心のデータ解析力や精度が低下してしまいます。 これはサンプル数が大きくなると、データ解析として考えた時、データ解析の目的を邪魔する、あるいはノイズとなるサンプルが絶対数的に増えてしまうことが大きな原因です。 要因解析を大きな実行目的とする多変量解析／パターン認識では、データ解析目的と何の関係もないサンプル（ノイズサンプル）が増えると、急激にそのデータ解析能力が低下してしまいます。
統計では、ノイズサンプルがサンプル分布の外周部分を構成する事で、サンプル分布をより完全なものとしてとらえることが出来るようになります。 従って、統計はノイズサンプルの存在に強いデータ解析手法であり、同時にサンプル数が多い方がより精度の高い結果が期待できる手法と言えます。 しかし、多変量解析／パターン認識は、要因解析力が強い分だけ、サンプル分布を乱すノイズデータに弱い（影響を受けやすい）手法と言えます。 また、サンプルが多くなるほどデータ解析の信頼性が低下してしまいます。 従って、多変量解析/パターン認識を適用する場合は、データ解析前のサンプル調整にかなり注意する事が必要です。
データ解析を行なう場合は、このような事実を知った上で慎重にデータ解析マネージメントを行なう必要があります。 データをいっぱい集めて、エイヤっとばかりに多変量解析/パターン認識を実行しても、有意義な結果が得られるはずはありません。 何かやっているという実感はありますが、実際は意味のない結果に振り回されているだけです。
創薬研究とビッグデータ解析および「ＫＹ法」：
Drug design and big data-analysis and the "KY-methods"
現在のビッグデータ解析で対象となるマーケティング関連のデータ程ではありませんが、創薬や化合物関連研究分野でも、一昔前と比べると、かなり大量のデータがデータベースに蓄えられるようになりました。 また、コンビナトリアルケミストリー、ＨＴＳ、インシリコスクリーニング等の新たな技術も展開されるようになり、この研究分野では昔と比べて桁違いに大量の化合物の処理が求められています。
大量化合物の処理のみならず、その処理での要因解析力や、予測精度も、たとえサンプル数が大幅に増えたとしても、従来と同等、あるいはそれ以上の結果を出すことが要求されています。
現在展開されている多くの多変量解析／パターン認識手法は、現在求めているような大量のデータを扱う事を前提として開発されたものではありません。 この点で、現代が求める大量サンプルの扱い下での要求事項を満足する事は極めて困難です。 一般的には、サンプル数が増えると情報量が増すので、良い解析が出来るとイメージされるようですが、多変量解析／パターン認識ではその逆となります。 何度も申し上げますが、データ解析の品質が下がるのはノイズサンプルの絶対量が増えるためです。
用いるサンプル全てがデータ解析に良好な情報を与えるものである場合は、当然ですがサンプル数が増えるほどデータ解析の信頼性は向上します。 しかし、この場合は外挿性という観点で不安となります。 純粋で理想的な環境下で実行された解析では、普遍のルールを取り出せた場合は良いのですが、中途半端な場合は、純粋な環境という事で外的な揺れに弱いデータ解析結果となっている可能性が高いのです。 人間と同じで、データ解析もある程度のノイズを含んでいた方が、外的環境に強い結果が出来る可能性があります。
とにかく、多変量解析/パターン認識を行なう時は、データ解析前に行なうサンプリングをきっちりと行なう事が必要です。 この作業が、データ解析の成否を左右する極めて重要なステップです。 ただ、数だけ揃えれば何とかなるという考えでは、精度や品質の高い解析は及びもつきません。 ノイズの多いサンプルを用いた解析では、要因解析というよりも、データの傾向をとらえる「トレンド解析」が重要となりますし、これが本来の目的です。 ノイズを含んだサンプルを用いて多変量解析/パターン認識を行なう場合は、ここでは書きませんが、様々なノウハウを駆使しての解析が必要となります。
この点で「ＫＹ法」は、①大量サンプルに対応出来ること、 ②サンプルが多くてもデータ解析力や精度を高めた解析が出来るという点で、現代が求めているデータ解析に答える手法と考えています。 今後は、この「ＫＹ法」の展開に全力を尽くしてまいります。
よろしくご支援のほどお願いいたします。
文責：
株式会社 インシリコデータ 湯田 浩太郎
2013/05/30
モデルフリー重回帰ＫＹ法が日本で特許として認められました：Modelfree regression KY-method was patented in Japan
◇ モデルフリー重回帰ＫＹ法が日本で特許として認定されました。
モデルフリー重回帰ＫＹ法は、ＫＹ法の基本に基づいて重回帰を行なうもので、三種類ある重回帰ＫＹ法のうちで最強の手法ですが、このたび日本で特許として認定されました。 これで、３種類ある重回帰ＫＹ法の全てが日本で特許化されたことになります。 現在ＵＳＡおよびＥＵで審査中で、一部は既に特許となっております。 今回日本で特許として認められたことから、モデルフリー重回帰ＫＹ法がＵＳＡおよびＥＵで特許化されることが期待されます。
モデルフリー重回帰ＫＹ法は、回帰線上で残差値が最も小さなサンプルを取り出し、取り出した後の全サンプルを用いて新たに重回帰式を創出する事を基本操作とします。 この操作を繰り返し行い、段階的に母集団サンプル群を減らしてゆくというダイナミックな操作を特徴とする重回帰手法です。上記アルゴリズムからわかるように、サンプル全体としての残差値の絶対値は従来手法と比較して劇的に減少します。ただ、サンプル単位での重回帰手法の繰り返しとなりますので、計算時間はサンプル数の分だけ大きくかかるようになりますが、現在のコンピュータのＣＰＵパワーであれば、そんなに大きな負担ではありません。 予測も、予測対象サンプルに最も類似したサンプルが最小残差値となった時点での重回帰式を用いて実行されますので、予測信頼性も大きく向上します。
本手法は従来からの重回帰手法の根本を大きく変えるものとなります。 今後、ＵＳＡおよびＥＵで特許として認められることが期待されます。
文責： 株式会社 インシリコデータ 湯田 浩太郎
2013/01/07
新年のご挨拶 : I wish you have a Happy New Year and continued good discussion with me in the coming year
今年もよろしくお願いいたします。
◆ＫＹ法の種類と特許化の現状:
The kind of KY method, and the present condition of their patents
ＫＹ法が最初に開発され、学会で発表したのが２００６年でしたので、あれこれで既に６年程経ちました。最初のＫＹ法（２モデル判別分析）に関する特許が認可されたのが昨年でしたので、特許化には５年ほどかかっていることになります。既にＫＹ法を知っている方々はＫＹ法として判別分析（二クラス分類）手法が３種類、また重回帰（フィッティング）手法として３種類で、総計６種類あることはご存知かと思います。既に最初のＫＹ法以外にも幾つか特許の認可が下りてきました。今後、残るＫＹ法も順番に特許として認可されるものと考えます。
◆比類なき分類能力を実現するための工夫（手順の違いによる新規データ解析手法）:
The trick for realizing the highest classification capability
ＫＹ法はその生い立ちから、従来からのデータ解析手法では実現できないような極めて分類が困難なサンプルセットであっても、高い分類率で分けることを目指して開発されたものでした。このために、従来手法には考えられない手順を採用していました。一つは、一回で無理に分けることを完結させず、少しずつ分類を繰り返して全サンプルの分類を完了させるという、段階的な分類操作を取り入れたこと。残る一つが、サンプル分類を２グループの他に、その時点では分類出来ないサンプル群（グレイゾーン）の３グループに分けたことです。この、分類決定出来ないサンプル群を集めて、再び先の繰り返し分類を行ない、全てのサンプル群が分割できてグレイゾーンに帰属するサンプルが無くなるまで分類を繰り返し実施するの二点です。
＊ここでは二クラス分類用のＫＹ法について述べています。重回帰（フィッティング）用のＫＹ法は、ＫＹ法としての基本的考えは同じですが、若干手続きが異なります。
◆ＫＹ法は「メタ手法」です:The KY method is the "meta-method"
ＫＹ法のデータ解析エンジンは従来から展開されている手法をそのまま利用します。なのに、従来手法とは比較にならない分類能力を示すのは、先に述べましたように、単に操作手順が異なるだけなのです。従って、ＫＹ法はデータ解析手法としては全く新しいデータ解析アルゴリズムや理論、あるいはデータ解析エンジンを備えたものではありません。この点で、データ解析の専門研究者には面白くないかもしれませんが、実用目的に考えた場合はこれほど素晴らしいものはありません。また、メタ手法であるがために、今後新たに開発されるデータ解析手法も次々と組み合わせ、単体では実現困難なことを実現させて、さらに発展する事が可能となるのです。
◆ＫＹ法の中で利用される従来手法は何でも利用可能であり、その組み合わせも自由です:
The any conventional data analysis methods can be used in the KY method, and the combination of them are also available.
ＫＹ法は従来手法のデータ解析エンジンを用いてデータ解析を行ないますが、用いる時のデータ解析手法の種類や組み合わせは全く自由です。例えば、二本の予測モデルを用いる２モデル判別分析ＫＹ法では、モデル毎にデータ解析手法を変えることが可能です。従って、一本はＳＶＭで構築し、もう一本はＢａｙｅｓ判別分析で構築する、あるいはその他のニューラルネットワーク等を用いてもかまいません。さらには、多段階手順を取る時に、段階（ステップ）毎に個別の判別分析手法を適用する事が可能です。このようにＫＹ法で利用される判別分析手法の種類の組み合わせの自由度は極めて高くなっています。
文責： 株式会社 インシリコデータ 湯田 浩太郎
◆ＫＹ法の種類と特許化の現状:
The kind of KY method, and the present condition of their patents
ＫＹ法が最初に開発され、学会で発表したのが２００６年でしたので、あれこれで既に６年程経ちました。最初のＫＹ法（２モデル判別分析）に関する特許が認可されたのが昨年でしたので、特許化には５年ほどかかっていることになります。既にＫＹ法を知っている方々はＫＹ法として判別分析（二クラス分類）手法が３種類、また重回帰（フィッティング）手法として３種類で、総計６種類あることはご存知かと思います。既に最初のＫＹ法以外にも幾つか特許の認可が下りてきました。今後、残るＫＹ法も順番に特許として認可されるものと考えます。
◆比類なき分類能力を実現するための工夫（手順の違いによる新規データ解析手法）:
The trick for realizing the highest classification capability
ＫＹ法はその生い立ちから、従来からのデータ解析手法では実現できないような極めて分類が困難なサンプルセットであっても、高い分類率で分けることを目指して開発されたものでした。このために、従来手法には考えられない手順を採用していました。一つは、一回で無理に分けることを完結させず、少しずつ分類を繰り返して全サンプルの分類を完了させるという、段階的な分類操作を取り入れたこと。残る一つが、サンプル分類を２グループの他に、その時点では分類出来ないサンプル群（グレイゾーン）の３グループに分けたことです。この、分類決定出来ないサンプル群を集めて、再び先の繰り返し分類を行ない、全てのサンプル群が分割できてグレイゾーンに帰属するサンプルが無くなるまで分類を繰り返し実施するの二点です。
＊ここでは二クラス分類用のＫＹ法について述べています。重回帰（フィッティング）用のＫＹ法は、ＫＹ法としての基本的考えは同じですが、若干手続きが異なります。
◆ＫＹ法は「メタ手法」です:The KY method is the "meta-method"
ＫＹ法のデータ解析エンジンは従来から展開されている手法をそのまま利用します。なのに、従来手法とは比較にならない分類能力を示すのは、先に述べましたように、単に操作手順が異なるだけなのです。従って、ＫＹ法はデータ解析手法としては全く新しいデータ解析アルゴリズムや理論、あるいはデータ解析エンジンを備えたものではありません。この点で、データ解析の専門研究者には面白くないかもしれませんが、実用目的に考えた場合はこれほど素晴らしいものはありません。また、メタ手法であるがために、今後新たに開発されるデータ解析手法も次々と組み合わせ、単体では実現困難なことを実現させて、さらに発展する事が可能となるのです。
◆ＫＹ法の中で利用される従来手法は何でも利用可能であり、その組み合わせも自由です:
The any conventional data analysis methods can be used in the KY method, and the combination of them are also available.
ＫＹ法は従来手法のデータ解析エンジンを用いてデータ解析を行ないますが、用いる時のデータ解析手法の種類や組み合わせは全く自由です。例えば、二本の予測モデルを用いる２モデル判別分析ＫＹ法では、モデル毎にデータ解析手法を変えることが可能です。従って、一本はＳＶＭで構築し、もう一本はＢａｙｅｓ判別分析で構築する、あるいはその他のニューラルネットワーク等を用いてもかまいません。さらには、多段階手順を取る時に、段階（ステップ）毎に個別の判別分析手法を適用する事が可能です。このようにＫＹ法で利用される判別分析手法の種類の組み合わせの自由度は極めて高くなっています。
文責： 株式会社 インシリコデータ 湯田 浩太郎
2012/10/12
クラスタリングＫＹ法： Clustering KY-methods
ＫＹ法によるクラスタリングとは：What is the Clustering KY-methods
◆ ＫＹ法によるクラスタリング： Clustering by the KY-methods
ＫＹ法の基本原理を適用する事で新たなクラスタリング手法を実行する事が可能です。
ＫＹ法の基本は「サンプル群のサブグループ化」と「繰り返し多段階操作」です。クラスタリングを実行する過程で、この二つの条件を満たすことで新たなクラスタリングＫＹ法を実現出来ます。
〇ＫＹクラスタリングの特徴： Spatial features of the clustering KY-methods
以下に現在展開されているクラスタリングＫＹ法の種類と、それぞれの特徴を列挙します。
１．教師データ付きクラスタリング（クラスタリングＫＹ法の最大の特徴）
一般的に実施されているクラスタリング手法は教師データ無しで実行されます。クラスタリングの結果からなぜそのようにクラスター化されたかを追求します。このような、要因発見型のアプローチに対して、ＫＹ法によるクラスタリングは教師データ付きクラスタリングとなり、これが従来手法のクラスタリングには無い非常にユニークな特徴となります。
２．教師なしクラスタリング
クラスタリング手法では教師なしデータが基本です。クラスタリング手法にもいろいろとありますが、これらの一般的な教師なしクラスタリングも、ＫＹ法の基本的な手順を適用する事でクラスタリングＫＹ法となります。
従来主峰のクラスタリングでは、全て一回の操作でクラスタリングを完了させ、その結果を評価するのが一般的です。この、一回限りの操作と実行の手順を変え、サンプル群のサブグループ化（これはクラスタリングの基本的な仕事ですが、これにさらに人為的あるいは別の基準でＫＹ法用のサブグループ化を行ないます）を行ない、このサブグループのみについてさらにクラスタリング（この場合は別のクラスタリング手法を適用する、あるいはパラメータセットを帰る等行ないます）を実行する。これを繰り返し行います。
以上の手順を取ると、従来からの教師なしクラスタリング手法にもＫＹ法の手順を適用する事が可能となり、より高度な考察やデータ解析を行なう事が可能となります。
◆ ＫＹ法の拡張性： Expandability of the KY-methods
クラスタリングＫＹ法を見てすぐに気づかれたと思いますが、このＫＹ法はマッピング等のデータ解析手法にも展開可能です。ＫＹ法の二大基本である「サンプル群のサブグループ化」と「繰り返し多段階操作」の手順を組み入れることで、従来からの一回限りのマッピングを、より高度な展開のできるマッピングＫＹ法へと導くことが出来ます。
ＫＹ法は従来より展開されてきたデータ解析アルゴリズムをそのまま利用し、ＫＹ法としての二つの手順を行なう事で、従来手法では達成できなかった様々なデータ解析能力や、新たな視点を見出すことを可能とします。
ＫＹ法は、判別分析、重回帰、クラスタリングそしてマッピングと、現在提供されている殆ど全てのデータ解析手法に適用可能であり、ＫＹ法の適用により従来手法では達成し得なかった素晴らしい解析結果を提供します。
登録:
投稿 (Atom)