Doğal Dil İşleme ( Nlp )

Doğal Dil İşleme ( NLP )


TanımDoğal Dil İşleme, yaygın olarak NLP (Natural Language Processing) olarak bilinen Yapay zeka ve Dil bilimi alt kategorisidirTürkçe, İngilizce, Almanca, Fransızca gibi doğal dillerin (insana özgü tüm diller) işlenmesi ve kullanılması amacı ile araştırma yapan bilim dalıdırDip Not:Ayrıca, NLP kısaltması ile anılan, (Neuro Linguistic Programming - Duygusal İletişim Planlama) dil ile iletişimin psikolojik yansılarını ve bu konu ile ilgili teknikleri kapsayan yeni bir alan daha vardır Dil ile ilgileri olması açısından birbirine benzemekle birlikte çok farklı olan bu iki kavram birbirine karıştırılmamalıdırUzman Sistemler ve Doğal Dil İşlemeNLP yani Doğal Dil İşleme, doğal dillerin kurallı yapısının çözümlenerek anlaşılması veya yeniden üretilmesi amacını taşırBu çözümlemenin insana getireceği kolaylıklar, yazılı dokümanların otomatik çevrilmesi, soru-cevap makineleri, otomatik konuşma ve komut anlama, konuşma sentezi, konuşma üretme, otomatik metin özetleme, bilgi sağlama gibi birçok başlıkla özetlenebilir Bilgisayar teknolojisinin yaygın kullanımı, bu başlıklardan üretilen uzman yazılımların gündelik hayatımızın her alanına girmesini sağlamıştır Örneğin, tüm kelime işlem yazılımları birer imla düzeltme aracı taşır Bu araçlar aslında yazılan metni çözümleyerek dil kurallarını denetleyen doğal dil işleme yazılımlarıdırBatı dillerinde SAPI (Microsoft şirketinin konuşma sentezleyici üretmek amacı ile satışa sunduğu geliştirici program) tabanlı Konuşma sentezleyici bileşenleri, yazılımcıların multimedia (çoklu ortam) sunuları hazırlamaları için hizmete sunulmuşturKonuşma ve komut anlama yazılımları ise gelecekte insan ve bilgisayar arasındaki klavye, fare gibi veri girişi aygıtlarını ortadan kaldıracak yazılımlardır Bu gelişmeler makine-insan iletişiminde yeni ve devrimci değişimlere yol açacak ve bilgisayarların daha çok insan tarafından kabul görmesine yol açacaktırYapay Zeka ve Doğal Dil İşlemeGelecekte, konuşma sentezleyiciler ve konuşma anlama alanındaki gelişmeler ve makine-insan iletişiminin gelişmesi, insanın makineden beklentilerini yükseltecektir İnsanlar makinelerin kendisini anlamalarını isteyecek, karmaşık kullanımı olan makineler pazar bulamayacaktır Giderek gelişen ve insanı anlayan makinelerin daha zeki olması insanın yaşam kalitesini yükselteceğinden, vazgeçilmez olması kaçınılmazdır Zeki makine kavramı, yapay zeka çalışmalarının hızlanmasına yol açmıştır Geleceğin en önemli sektörlerinden biri olan yapay zeka ile insanın iletişim kuracağı tek araç dildirAntropoloji, Dil Bilimi ve Düşünme20Yüzyıl 'ın başlarında önemli bulguları değerlendiren antropoloji bilimi, insanın evrimini araştırırken Homo Sapiens'ten önceki türler olan Homo Habilis, Homo Erectus, Homo Neanderthalensis gibi erken dönem insanlarının gırtlak (larenks) gelişimlerininde konuşma ile ilgili mutasyonlar gördüler Daha kollektif bir yaşam süren Erectus ve Neandertal gibi türlerde gırtlak bölümü, örneğin Pythecanthropus türüne göre çok daha gelişmişti Kollektif (sosyal yardımlaşmaya dayalı) yaşam, gelişmiş bir iletişim gerektirmekteydi ve basit içgüdüsel sesler bu etkili iletişim için yeterli değildiGelişmiş çok sayıda ses ancak gırtlak ve akciğerlerin gelişimi ile mümkündü Evrimleşen akciğerler gırtlağa gelişmiş sesleri çıkarması için yeterli havayı sağlayana değin kafatası da evrimleşti ve inceldi, konuşma merkezlerini besleyecek çok sayıda sinirin geçebilmesi için yeterli bir açıklık oluştu, ses telleri ve damak ise konuşmaya uygun şekilde mutasyona uğradıBu gelişimin sonucunda dili icad eden insan, çok daha önemli bir gelişimin eşiğine geldi Daha önce tıpkı hayvanlar gibi görsel ve işitsel kavramlarla düşünen insan, dil kodları olan kelimeler ve şablonlar ile düşünmeye başladı Böylece kavramların arasında dil aracılığı ile yeni bağlar kurdu ve soyut düşünme yeteneğini kazanarak kavramların arasında çok daha hızlı işlem yapmaya başladı Doğal becerilerini ve deneyimlerini diğer insanlara dil sayesinde öğretti ve daha kollektif bir yaşam biçimine kavuştuDil, insanoğlunun uygarlaşmasını sağlamakla kalmamış, onun zekasının doğada daha önce görülmemiş şekilde parlamasını sağlamıştırKültür dediğimiz insanlık birikimi, dil kullanan ve iletişim kuran insanın sosyalleşme sürecinin ürünüdürDilin Matematik ModeliDilin işlenmek üzere çözümlenebilmesi için, matematik modelinin oluşturulması gerekmekteydiGenişletilmiş Geçiş AğlarıATN Genişletilmiş Geçiş Ağları (Augmented Transition Network),Woods tarafından 1970 ve 1973 yılları arasında geliştirilmiş bir yaklaşımdırGenişletilmiş geçiş ağları (GGA) üç bileşenden oluşur:En az başlangıç ve son (/s) durumları olan sonlu sayıdaki durumlar kümesi, Belli bir metindeki mümkün olan harflerden oluşan alfabe (e), Sonlu sayıdaki bir durumdan diğer bir duruma geçişi sağlayacak geçişler kümesi Genişletilmiş geçiş ağlarında, bir durumdan diğer bir duruma geçmek için gerekli harf okunur ve bu harf geçilecek olan duruma geçmek için gereken harfle karşılaştırılır; uygun ise diğer duruma geçilir Geçiş ağlarında doğru bir yol, bir başlangıç durumundan başlayıp, son duruma ulaşan geçişler sağlandığında tamamlanır Harflerin birbirine eklenmesiyle oluşan metin, ağın kabul etmesi için verilen metin ise, bu metin ağ tarafından kabul edilmiş demektirYanda*: Bal metnini kabul eden Genişletilmiş Geçiş AğıFonetik ve FonolojiFonetik, konuşulurken, dil, gırtlak, ses telleri, damak, dişler ve dudaklar ile çıkarılan sesleri ve bu seslerin dil ile olan ilişkilerini tanımlamak için kullanılan bir terimdirDoğal dillerde anlam ayırıcı olarak kullanılan en küçük ses fondur (phon ) dur Fonetik terimi bu kökten gelmektedirFon kavramı evrensel değildir ve her dilde farklı seslere kaşılık gelir Farklı dillerdeki fonların tek ortak özelliği ayırıcı temel sesler olmalarıdırSesle ifade edilen dili, yani konuşmayı kaydetmek için yazı icad edilmiştiKonuşmayı yazı ile ifade etmek için ses birim veya fonları harflerle eşleştirmek gerekmekteydi Bazı dillerde, örneğin Türkçe, Fince ve Japoncada, sesbirimler doğrudan harflere karşılık gelmektedir Bu tip dillere fonetik diller denirİngilizce, Almanca, Fransızca gibi dillerde ise Fonlar harflere kaşılık gelmezlerBu yaklaşımın yerine uluslararası olarak geçerliliği olan fonetik bir alfabe ses birimleri ifade etmek için kullanılır Ses birimlerin simgesel olarak ifade edilmesi sonucu olusan simgeler fonem (phoneme) olarak adlandırılır Bir başka deyişle aslında fonemlerin seslendirilmesiyle ses birimler (phon) oluşurDildeki ses birimler belirlenirken iki yaklaşım kullanılırBunlar,Parçalı sesbirimler (segmental) ve, Parçalarüstü ses birimler (supra-segmental, prosodic) dir Dilin MorfolojisiDil bilime terim olarak 1859 yılında August Schleicher tarafından kazandırılan morfoloji, dilde biçimi oluşturan ögelerin türlerini tanımlamak ve özetle dil bilgisi kuralları denen biçimsel ögelerin sınıflandırmasını yapmaktırMorfolojik Çözümlemede Analitik YaklaşımlarDoğal dil işleme çalışmalarında anlam bütünsel çözümleme yapabilmek için, bazı yaklaşımlar belirmiştirBu yaklaşımlar aşağıdaki süreçlerden oluşurSözdizimsel (Sentaktik) AnalizSözdizimsel analiz, sözdizimini (syntax) veya cümleyi oluşturan morfolojik ögelerin hiyerarşik kurallara uyumunu karşılaştırarak ölçümlemektir Böylece söz dizimin anlamlı olup olmadığının ölçülebilmesi için düzenleyici bir süreç gerçekleşmiş olurTürkçede cümleler en genel şekliyle özne, nesne ve yüklem bileşenlerinden oluşur Cümleye eklenmek istenen anlamlar arttıkça cümleler, özne, yer tamlayıcısı, zarf tamlayıcısı, nesne ve yüklem gibi bileşenleri içerirAyrıca cümlenin anlamını kuvvetlendiren cümle dışı bileşenler de (bağlaç, edat, vb) cümlede bulunabilirBunlara örnek olarak ile, için, ama, çünkü kelimeleri verilebilir Türkçede özne ile yüklem cümlenin temel bileşenleridir ve genelde tüm cümlelerde yer alırlar Yer tamlayıcısı, zarf tamlayıcısı, nesne gibi bileşenler bazı cümlelerde yer almayabilirler veya bazı cümlelerde sadece biri, bazılarında sadece ikisi bulunabilir Bu bileşenlerin cümle içindeki sıralanışları da değişebilirBilgisayarla doğal dilin modellenmesinde anlamsal analizden önce kelimelerden oluşturulan yapının cümle olup olmadığının test edilmesi faydalıdırBu işlem sentaktik eşleştirme işleminde anlamsız eşleşmelerin önlenmesine faydalı olurAnlambilimsel (Semantik) AnalizAnlambilimsel analiz, sözdizimini oluşturan morfolojik ögelerin ayrılması yani, sözdizimsel analiz ile anlam taşıyan kelimelerin sınıflandırılması işleminden sonra gelen anlamlandırma veya anlama sürecidirBu süreçte anlam taşıyan kelimelerin, ekler ve cümle hiyerarşisi içindeki konumlarının saptanması sayesinde birbirleri ile ilişkileri kurulabilirBu ilişkiler anlam çıkarma, fikir yürütme gibi ileri seviye bilişsel fonksiyonların oluşturulmasında ham bilgi olarak kullanılacaktırYapay KonuşmaMorfolojik çözümleme aşamalarından sonra sözdizimsel kurgu veya yapay konuşma süreci ile yapay zeka ya veya uzman sistemlere iletişim becerisi kazandırılacaktır Sözdizimsel çözümlemenin tersi süreçlerden oluşan birleştirme sürecinde, önceki süreçlerde ele geçen bilgi yine morfolojik kurallar dahilinde birleştirilir