Research

調査・研究

ビックデータによる学習パスと有識者による学習パスの比較:Comparison of Learning Paths by Big Data and Subject Matter Experts

2016. 9. 6

ビックデータによる学習パスと有識者による学習パスの比較:
Comparison of Big Data and Subject Matter Expert defined Learning Paths

【背景:Background】

ICTの普及により教育が学校や塾のみならず、いつでもどこでも誰でも学べる環境が整いつつあります。また学校でも従来の教育の補助として朝学習や放課後においてICT教育が活用され始めています。
ICT教育においては環境を提供するだけでなく、それを活用することが重要であり、それを促進させる1つの方法として学習者の学習状況に応じて次に何を学ぶべきかを提示し学習者1人ひとりに個別学習を提供することが重要であると考えています。
弊社サービス「スタディサプリ小学講座・中学講座」に蓄積されている学習データを用いて、講義間での繋がりパスを作成し、これを用いて次に何を学ぶべきかを提示し学習者1人ひとりに個別学習を提供できるサービスを開発しています。本調査ではデータ解析から作成された講義間でのつながりと有識者作成による講義間でのつながりを比較して、どのような差異があるかをご報告いたします。

Advancements in ICT infrastructure is building an environment that allows for learning to occur beyond school and cram schools. Soon, the opportunity will be available anytime, and anywhere. Schools are beginning to utilize ICT education to support traditional educational methods in morning and after school sessions.
ICT education must be careful to not only provide the environment, but to make use of it. We believe one method to promote learning, is to personalize the “next step” provided to the learner, based on the learner’s current academic ability.
We are using using the learning data accumulated by the Study Sapuri service’s elementary school and middle school courses, to create a map of paths between each lecture. We are using this map of learning paths to develop a service that will suggest what to learn next in a personalized manner to each individual learner. This study will compare and report on the differences in connections found by data analysis, and of subject matter experts.

【結果の概要:Summary of Results】

有識者作成パスとビッグデータ解析から作成されたパスを比較した結果、同学年内のパスの一致率は74%と非常に高い数値となり、データ解析によって有識者の知見を再現することができることが証明されました。
さらにビックデータ解析から作成されたパスは有識者の作成したパスの約3倍のパスを引いており、人間が見落としがちな関係性の強いパスも生成できたと考えられています。

Comparing the path created from subject matter experts (SME) and big data analysis, Paths in a grade level show a 74% match. This high match rate indicate that data analysis is capable of reproducing SME expertise.
We have also found that big data analysis have created 3 times more paths than SMEs. We believe that the data analysis has also generated strong relational paths that are overlooked by humans.

 

【詳細】

ネットワーク

図の○(ノード)はスタディサプリ小学講座・中学講座の算数の各講義を示しており、赤○は小4,緑○は小5,青○は小6の講義になります。
→は学び順になっており、→の終点の講義を学ぶためには始点の講義が必要であるという見方になります。

A ○ (representing a node) of the figure shows each lecture of math Study Sapuri elementary and middle school mathematics courses. Red nodes are 4th grade, green nodes are 5th grade, and blue nodes represent 6th grade lectures.
The flow of learning is left to right. The diagram indicates that a learning destination node requires the origin node.

青→は有識者とビックデータ共に引いたもの、緑→が有識者のみが引いたもの、黒→がビックデータのみが引いたものになります。
有識者のパスを分母に置いた場合のビックデータの重なり率は全体で58%になっています。
一致しない箇所(緑→)は学年を跨ぐパスにおいて顕著に出ています。これはビックデータによるパス作成において精度だけではなく、信頼性(多くの人が終点の講義をやるために始点の講義を解いていること)を制約とおいており、スタディサプリ小学講座・中学講座はスタートして1年半程度なので、学年を跨いで勉強するデータ数が多くないことが原因と考えられます。今後データが蓄積されていくと学年跨ぎのパスも一致率が向上することが期待できます。

Blue arrows are paths identified by both SME and data analysis. The green arrow represents paths exclusively identified by SMEs. Black arrows represent paths exclusively identified by data analysis.
The overlap rate between SME paths and data analysis (data analysis / SME) is 58%.
The divergent areas are most notably evident in the paths crossing grade levels. The analysis utilizes a limit on the precision and the reliability of the data analysis generated paths; most learners must have solved the origin lecture in order to start the destination lecture. In addition, the Study Sapuri app has only provided elementary and middle school lectures for approximately 18 months at the time of the analysis, limiting the volume of data across grade levels. We expect that the results to show higher concordance with SME paths as more data is accumulated in the future.

一方で同学年内のパスの一致率は74%と非常に高い数値となり、データ解析によって有識者の知見を再現することができることが証明されました。

Concordance rate within a school year is quite high at 74%. This indicates that data analysis is capable of reproducing SME expertise.

※一致率
有識者の引いたパスを母数に置いた場合、データの引いたパスがそれをどれくらい再現できているかの率になります。同学年内で有識者の引いたパスは61通りの組み合わせ数があり、そのうちの45通りをデータの引いたパスが再現できているため、一致率74%となっております。

Percentage which indicates the rate of data analysis paths matching paths defined by SMEs. (data analysis / SMEs)There are 61 combined paths defined by the SME within a grade level. Of the 61, 45 paths are reproduced by the data analysis, resulting in a concordance rate of 74%.

加えて有識者の引いたパスが全部で77通りあるのに対して、データの引いたパスが247通りと約3倍のパスを引いており、人間が見落としがちな関係性の強いパスも引いている場合もあります。

In addition to the 77 paths defined by the SMEs, data analysis defined 247 paths. This may identify strongly related paths that are overlooked by humans.

 

・中2数学基礎講座の講義「連立方程式の利用(2)」に必要な前提授業Required Lecture Dependencies for the 8th grade mathematics fundamental lecture “Using Quadratic Equations (2)
前提講義一例

【今後の展望:Future Work】

上記の結果は、「有識者だけのパス図のみでよい」、「ビックデータ解析のパス図のみでよい」という議論でなく、有識者とビッグデータ解析を掛け合わせたハイブリット型のパス図を活用していくことでより良質な個別学習を提供できると考えております。
サービスの提供方法としては苦手なものを克服できる個別学習と得意なものを更に伸ばしていく個別学習などが考えられます。どちらの個別学習を促進させると成績が伸びるのかを検証することも今後検証していきます。

The above results do not posit a path diagram defined by SMEs alone is needed, nor does it posit that a data analysis defined path diagram alone is needed. Instead, we believe that a hybrid path diagram that blends the SME and data analysis results will lead to high quality personalized learning.
Future development for the service could provide personalized learning to overcome weaknesses, or personalized learning to expand on area of strengths. We will continue to validate which methodology will most benefit student achievement.

 

著者:中西 慶彰
株式会社リクルートマーケティングパートナーズ
まなび事業本部 オンラインラーニング事業推進室
2008年筑波大学大学院修了。同年SIerに入社し、BIのシステム提案、構築とさまざまなクライアントのWebサイト分析に従事。2015年6月株式会社リクルートマーケティングパートナーズに入社し、スタディサプリ小学講座・中学講座(旧勉強サプリ)の分析を担当。子供の学び方をデータ分析によって解明中。

Author: Yoshiaki NAKANISHI
Recruit Marketing Partners Co., Ltd.
Manabi Business Division Online Learning Business Promotion Office
2008 University of Tsukuba Graduate School.Joined a System Integrator company in 2008, and conducted Business Intelligence System consulting, development and implementation for a variety of client web sites. June 2015 joined Recruit Marketing Partners Co., Ltd. with responsibility over analysis of the Study Dapuri elementary school, and middle school course analysis (formerly known as Benkyo-Sapuri).Currently investigating child learning through data analysis.