Türkçe dilinde görüntü altyazısı: Veritabanı ve model

Basit Öğe Kaydı
dc.contributor.authorYıldız, Tuğba
dc.contributor.authorSönmez, Elena
dc.contributor.authorYılmaz, Berk Dursun
dc.contributor.authorDemir, Ali Emre
dc.date.accessioned2022-02-11T06:11:01Z
dc.date.available2022-02-11T06:11:01Z
dc.date.issued2020
dc.description.abstractÖzet: Otomatik görüntü altyazısı, yapay zekânın hem bilgisayarla görme hem de doğal dil işleme alanlarını kapsamaktadır. Makine çevirisi alanındaki gelişmelerden ilham alan ve bu alanda başarılı sonuçlar veren kodlayıcı-kod çözücü tekniği, özellikle İngilizce için otomatik görüntü altyazısı oluşturma konusunda kullanılan mevcut yöntemlerden biridir. Bu çalışmada ise, Türkçe dili için otomatik görüntü altyazısı oluşturan bir model sunulmaktadır. Bu çalışma, verilen görüntülerin özelliklerini çıkarmaktan sorumlu olan, Evrişimsel Sinir Ağı (ESA) mimarisine sahip bir kodlayıcıyı, altyazı oluşturmaktan sorumlu olan, Tekrarlayan Sinir Ağı (TSA) mimarisine sahip bir kod çözücüsü ile birleştirerek, Türkçe MS COCO veri kümesi üzerinde Türkçe görüntü altyazısı kodlayıcı-kod çözücü modelini test etmektedir. Modelin performansı, yeni oluşturulan veri kümesinde insanlar tarafından değerlendirilirken, bir taraftan da BLEU, METEOR, ROUGE ve CIDEr gibi en yaygın değerlendirme ölçütleri kullanılarak değerlendirilmiştir. Sonuçlar, önerilen modelin performansının hem niteliksel hem de niceliksel olarak tatmin edici olduğunu göstermektedir. Çalışma sonunda hazırlanan, herkesin kullanımına açık bir Web uygulaması (http://mscococontributor.herokuapp.com/website/) sayesinde Türkçe dili için MS COCO görüntülerine ait Türkçe girişlerin yapıldığı bir ortam kullanıcıya sunulmuştur. Tüm görüntüler tamamlandığında, Türkçe diline özgü, karşılaştırmalı çalışmaların yapılabileceği bir veri kümesi tamamlanmış olacaktır.en_US
dc.description.abstractAbstract: Automatic image captioning is a challenging issue in artificial intelligence, which covers both the fields of computer vision and natural language processing. Inspired by the later advances in machine translation, a successful encoder-decoder technique is currently the state-of-the-art in English language captioning. In this study, we proposed an image captioning model for Turkish Language. This paper evaluates the encoderdecoder model on MS COCO database by coupling an encoder Convolutional Neural Network (CNN) -the component that is responsible for extracting the features of the given images-, with a decoder Recurrent Neural Network (RNN) -the component that is responsible for generating captions using the given inputs- to generate Turkish captions. We conducted the experiments using the most common evaluation metrics such as BLEU, METEOR, ROUGE and CIDEr. Results show that the performance of the proposed model is satisfactory in both qualitative and quantitative evaluations. Finally, this study introduces a Web platform (http://mscoco-contributor.herokuapp.com/website/), which is proposed to improve the dataset via crowdsourcing and free to use. The Turkish MS COCO dataset is available for research purpose. When all the images are completed, a Turkish dataset will be available for comparative studies.en_US
dc.fullTextLevelFull Texten_US
dc.identifier.doi10.17341/gazimmfd.597089en_US
dc.identifier.issn1300-1884
dc.identifier.issn1304-4915
dc.identifier.scopus2-s2.0-85091869186en_US
dc.identifier.trdizinid390935en_US
dc.identifier.urihttps://hdl.handle.net/11411/4447
dc.identifier.urihttps://doi.org/10.17341/gazimmfd.597089
dc.identifier.urihttps://search.trdizin.gov.tr/yayin/detay/390935en_US
dc.identifier.wosWOS:000552077900027en_US
dc.identifier.wosqualityQ2en_US
dc.indekslendigikaynakWeb of Scienceen_US
dc.indekslendigikaynakScopusen_US
dc.indekslendigikaynakTR-Dizinen_US
dc.issue4en_US
dc.language.isotren_US
dc.nationalNationalen_US
dc.numberofauthors4en_US
dc.pages2089 - 2100en_US
dc.publisherGazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisien_US
dc.relation.ispartofGazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisien_US
dc.relation.publicationcategoryMakale - Ulusal Hakemli Dergi - Kurum Öğretim Elemanıen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.snmz20240718_Mükerrer
dc.subjectTurkish image captioningen_US
dc.subjectTurkish MS COCOen_US
dc.subjectComputer visionen_US
dc.subjectNatural language processingen_US
dc.subjectCNN, RNNen_US
dc.subjectTürkçe görüntü altyazısıen_US
dc.subjectTürkçe MS COCO veri kümesien_US
dc.subjectbilgisayarla görmeen_US
dc.subjectdoğal dil işlemeen_US
dc.subjectESAen_US
dc.subjectTSAen_US
dc.titleTürkçe dilinde görüntü altyazısı: Veritabanı ve modelen_US
dc.typeArticleen_US
dc.volume35en_US

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
2020YıldızSönmez.pdf
Boyut:
873.52 KB
Biçim:
Adobe Portable Document Format
Açıklama:
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.71 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Faculty of Engineering and Natural Sciences
Scopus Indexed Publications
TR Dizin Indexed Publications
Web of Science Indexed Publications