Sürücü davranışlarının modellenmesine bilişsel mimari yaklaşımı

Abstract

Geçen yüzyılın sonlarına dogru ulasım teknolojilerindeki hızlı gelismeler, can veya mal kaybına yol açan trafik kazaları ve zaman kaybına yol açan trafik sıkısıklıkları seklinde sorunları da beraberinde getirmistir. statistiksel olarak bakıldıgı zaman bu sorunların büyük oranda insan kaynaklı hatalardan ortaya çıktıgı görülmektedir. nsandan kaynaklı sorunların çözümünde, otomobil kullanma esnasında sürücünün üzerinden yükü alacak sürücü yardımcı sistemlerinin olusturulması fikri arastırmacılar tarafından büyük ilgi görmüs ve bu konuda yogun çalısmalar gerçeklestirilmistir. Sürücü yardımcı sistemlerinin olusturulmasında en önemli asama, sürücü davranısının modellenmesi asamasıdır. Bilissel mimari insan davranısının modellenmesi için gelecek vaat eden en önemli seçeneklerden biri durumundadır, fakat araç sürme problemine uygulanmasıyla ilgili literatür oldukça kısıtlıdır. Bu tez çalısmasının bir katkısı, araç sürme davranısının modellenmesinde, bilissel mimariyi temel alan bir yöntemin önerilmesidir. Önerilen mimarinin çekirdeginde, deneyimler yoluyla sürücü davranıslarını ögrenmeye imkan saglayan pekistirmeli ögrenme yöntemi, pekistirmeli ögrenme yöntemi olarak da Q-Ögrenme yöntemi kullanılmıstır. Literatür taramasında standart Q-Ögrenme tekniklerinin insan davranıslarının modellenmesinde kullanılmasının, insan davranıslarının sürekli olmasıyla durum uzayının büyüdügü, içinde bulundugu durumun dinamik oldugu ve insan davranısları için bir pekistirme fonksiyonu olusturmanın oldukça zor oldugu durumlarda problemlere sahip oldugu görülmüstür. Bu tez çalısmasının bir diger katkısı, süreklilik ve büyük durum uzayı probleminin çözümü için alt görevlerin otomatik olarak belirlenmesi tekniginin gelistirilmesi, dinamik ortamlarda çalısabilmenin saglanması için bir hafıza yapısı eklenmesi ve pekistirme fonksiyonunun gözlenen sürücüden otomatik olarak çıkarılmasının saglanması, ve bu yöntemleri içeren gelistirilmis Q-Ögrenme yöntemini kullanan bilissel mimari temelli bir modelin olusturulmasıdır.

Near the end of the last century, the rapid developments in transportation technologies lead the traffic accidents which cause the loss of human or assets and increase the traffic congestions which cause the loss of time. Statistically, it is obvious that the most important source of these problems are human-centered. To solve these problems, researchers have focused on driver assistance systems which support human while driving and increasingly vigorous efforts have been put in this area. The most important stage in developing driver assistance systems is modelling the drivers behaviour. Cognitive architecture is a very promising appproach in modelling human behavior. But for modelling drivers behavior based cognitive architecture, there exists very limited literature. In this thesis, for modelling drivers behavior, a method based on cognitive architecture is proposed. In the core of the proposed method, reinforcement learning which allows learning with experience, is used. Q-Learning method as the reinforcement learning method is implemented in the architecture. Standard QLearning methods suffer from large state sets rising from continual operation, from the dynamic operating environment, and from providing a reinforcement function which seems as a hard process for human behavior. In this thesis, for solving the continual operation problem a novel sub-goal discovery algorithm is introduced, for tackling dynamic environments usage of history memory is implemented and a method for automatically extracting the reinforcement function is inserted. Using the modified Q-Learning structure, a model based on cognitive architecture is developed. The proposed method is tested experimentally and good results have been obtained.