最新のテクノロジーを活用すれば、すべてのデータが集められ、人智を超えるような予測や最適化ができると思い込む人もいます。しかし、それはデータ収集能力と解析能力への過信です。
すべてのデータを集めることも解析することも不可能です。なぜならより多くのデータを解析しようとすればするほど、今まで気付かなかった膨大な未知のデータに気付くからです。そしてデータを集めれば集めるほど、データの精度が悪化し、整備する時間も増え、不可解な数字を示す、解析できないデータも登場します。したがって、すべてのデータを取得するのではなく、仮説を立て、仮説に沿ったデータを取得することが無駄のないデータ活用につながり、単にデータを見ているだけでは気付かない法則や傾向が浮かび上がります。
Hypothesis verification
Some people assume that with the latest technology, all the data can be collected and that they can make predictions and optimizations that surpass human intelligence. However, that is overconfidence in data collection and analysis abilities.
It is impossible to collect or analyze all the data. This is because the more data you try to analyze, the more you will discover a huge amount of unknown data that you have not noticed before. The more data you collect, the more the accuracy of the data deteriorates, the more time it takes to prepare it, and the more data that shows mysterious numbers and cannot be analysed. Therefore, rather than acquiring all data, forming a hypothesis and acquiring data in line with the hypothesis will lead to efficient data utilization, and will reveal laws and trends that you would not notice by simply looking at the data. Masu.