PISA’nın Dönüşümü

15 yaş grubu öğrencilerin temel becerilerini odağa alan PISA, eğitim sistemlerinin nitelik, eşitlik ve verimlilik gibi unsurlarla ilişkisini ortaya koymak için önemli bulgular sunan bir değerlendirme programıdır. Sağladığı zengin veri kaynağıyla yüksek performans gösteren öğrenci, okul ve eğitim sistemlerinin ortak özelliklerinin belirlenmesinde etkili bir rol oynamaktadır. Ülkelerin eğitim performanslarını ortaya koymanın yanı sıra, diğer ülkelere kıyasla bulundukları konumu belirlemek adına da önemli veriler sunan PISA değerlendirmelerinin eğitim sistemlerinde reformları harekete geçirme gücü ve eğitim politikalarına yön verme potansiyeli her geçen gün artmaktadır. Bu sebeple PISA başta olmak üzere uluslararası değerlendirmelerin neyi neden ölçtüğüne ilişkin bilgi ve fikir sahibi olmak ayrı bir anlam kazanmaktadır.

Son yıllarda PISA ile ilgili yayınlanan üst politika belgelerinde PISA’nın 2015 değerlendirmesi sonrasında ciddi bir dönüşüm geçireceğine ilişkin değerlendirmeler yer almaktadır. PISA’nın hangi yöne ilerlediğini ve eğitim politikalarında olası etkilerini anlamaya yardımcı olacak bu dönüşüm sürecini üç temel başlık altında ele almak mümkün görünmektedir:

1. PISA’nın içeriği ve uygulama sürecine ilişkin yönelimleri
2. PISA’nın ölçme kapsamının genişlemesi
3. PISA’nın araştırmaya dahil ettiği ülkelerin ve ekonomilerin genişlemesi

PISA’nın İçeriği ve Uygulama Sürecine İlişkin Yönelimleri

OECD, PISA’nın analitik gücünü ve politika süreçlerine etkisini artırabilmek amacıyla bir dizi hedef belirlemiştir. Bu hedeflerden öne çıkanlara aşağıda yer verilmiştir:

Hedef 1: Testlerin bilgisayar ortamında uygulanmasının sağladığı avantajlardan yararlanmak

PISA’da ilk elektronik modülün 2006 yılında yer almasından bugüne kadar geçen süre içinde testlerin bilgisayar ortamında gerçekleştirilme oranı kademeli olarak artmıştır. Böylece ölçülmesi hedeflenen beceriler ve yeterliklerin kapsamı da her yeni döngüyle birlikte genişlemiştir.

Bilindiği üzere PISA okuma-yazma becerileri, matematik okuryazarlığı ve fen okuryazarlığı olmak üzere üç temel alan üzerinden değerlendirmeler gerçekleştirmektedir. Her döngüde bu alanlardan biri odak alan olarak belirlenmekte; ikincil alanlara ayrılan test süresi ise bu odak alana kıyasla daha az olmaktadır. Bu sebeple ikincil alanlarda alt boyutlara ilişkin detaylı sonuçlara ulaşmak mümkün olmamaktadır. PISA’nın bilgisayar ortamında uygulanmasının artmasıyla birlikte bireye uyarlanmış testlerin bu problemi ortadan kaldırabileceği öngörülmektedir. Bireye uyarlanmış test uygulamaları, test esnasında öğrencinin her yanıtından sonra yetenek kestirimini belirlemeye ve bu yetenek kestiriminin sıradaki soruyu belirlemek için kullanılmasına dayanmaktadır. Öğrencilerin her düzeyden sorular yerine yalnızca kendi düzeyine uygun sorulara yanıt vermesi daha güvenilir ve mikro düzeyde daha detaylı sonuçlara ulaşılmasına olanak vermektedir.

PISA testlerinin bilgisayar ortamında uygulanmasının sağladığı avantajlardan bir diğeri de bilişsel olmayan çıktılar için daha iyi ölçümler geliştirilebilmesine olanak sağlamasıdır. Bu kapsamda bilgisayar ortamında gerçekleştirilen testler video klipler ve interaktif görsellerle desteklenen senaryo temelli sorular gibi yeni soru formatlarının kullanımını olası hale getirerek öğrencilerin sorularla etkileşimlerinin artmasını da kolaylaştırmaktadır. Aynı zamanda sorulardaki metin yoğunluğu azaltılarak öğrencilerin doğru cevaba ulaşmasında büyük bir belirleyici olan okuma becerilerinin etkisi de daha aza indirgenmektedir. Böylece PISA’nın gelecek döngülerinde öğrencilerin soru çözmeye ilişkin kararlılıkları gibi bilişsel olmayan çıktıların ölçümlerinin de yer alması muhtemel görünmektedir.

Hedef 2: PISA’yı diğer uluslararası değerlendirmeler ile ilişkilendirmek

PISA’ya ilişkin epey yol alınan hedeflerden bir diğeri PISA’nın TALIS, PIAAC ve iPIPS gibi uluslararası değerlendirmelerle ilişkilendirilmesidir. OECD bu hedef doğrultusunda bahsi geçen değerlendirmelerin yönetim kurullarıyla ortak görüşe ulaşmış ve değerlendirmeler arasında daha yüksek sinerji oluşturabilmek amacıyla çalışmalarını hızlandırmıştır. Örneğin öğretmenlerin öğretim süreçleri ve öğretmenlik mesleğine yönelik değişkenler üzerine yoğunlaşan TALIS 2013’te yer alan soruların bir bölümü PISA 2015 öğretmen anketinde de yer almıştır. Böylece farklı iki değerlendirmede aynı değişkenler hakkında veri toplanmış ve daha ileri analizlerin gerçekleştirilmesinin önü açılmıştır.

PISA; okulun 15 yaş grubu öğrencileri hayata ne kadar hazırladığı ve onlara hangi becerileri kazandırdığı üzerine yoğunlaşırken PIAAC 16-65 yaş aralığındaki yetişkinlerin okulda kazandıkları becerilerin hayata katılımda ne kadar etkili olduğunu değerlendirmeye almaktadır. OECD, birbirinin tamamlayıcısı olarak görülen bu iki değerlendirmeyi daha ilişkisel hale getirmek ve politikalar üzerinde daha etkili olabilecek boylamsal araştırmalar gerçekleştirebilmek amacıyla çalışmalarına devam etmektedir. Örneğin, yerel düzeyde PISA 2000 örnekleminde yer alan bir grup öğrencinin PIAAC 2012 örnekleminde de yer aldığı bir çalışma mevcuttur. Bu çalışma kapsamında 2000 yılında 15 yaşında olan öğrencilerin 2012 yılında 27 yaşına geldiklerinde becerileri üzerinden detaylı analizler gerçekleştirilebilmiştir. OECD, bu çalışmaları daha sistematik hale getirmenin yöntemleri üzerinde durmaktadır.

Okul öncesi dönemindeki çocukların gelişimini odağa alan geniş ölçekli bir uluslararası değerlendirme henüz var olmamakla birlikte Durham Üniversitesi tarafından koordine edilen iPIPS isimli çalışma bu boşluğu kapatmak amacıyla geliştirilen bir proje olarak görülmektedir. OECD, iPIPS bulgularını yakından izlemekte, bu bulguları PISA kapsamındaki ülkelerin bağlamlarını anlamak amacıyla değerlendirmektedir. Bununla birlikte PISA- iPIPS ilişkisini güçlendirmeye yönelik adımları ve özellikle belirli yaş grupları üzerinden yapılacak analizlere ilişkin bu değerlendirmeler arasında istatistiki bir bağlantı kurmayı önemsemektedir.

Hedef 3: PISA’nın eğitim politikalarıyla ilişkisini ve analitik gücünü artırmak için, PISA’yı ulusal sınavlarla ilişkilendirmek

OECD, PISA’nın ülke düzeyinde politikalarda etkisini artırabilmek amacıyla PISA’nın ölçtüğü becerilerle ulusal sınavların odaklandığı öğrenme çıktıları arasında karşılaştırma yapabilmeyi mümkün hale getirecek yöntemler üzerinde durmaktadır. Bu yöntemlerin arasında ortak sorular kullanmak ya da ortak bir örneklem grubu belirlemek gibi değerlendirmeler arasında istatistiki bağı güçlendirecek ve boylamsal çalışmalar için veri toplanmasına hizmet edecek yöntemler yer almaktadır. OECD böylece PISA bulguları üzerinden öğrenme çıktıları ve eğitim politikaları arasında neden-sonuç ilişkisi kurulmasını daha olası hale getirmeyi hedeflemektedir. Bu yöntemleri hali hazırda yerel düzeyde uygulayan ülkeler olduğu bilinmektedir. OECD, tüm katılımcı ülkelerin PISA sonuçlarından daha fazla yararlanmalarını sağlayabilmek amacıyla bu ülkelerin deneyimlerinden yararlanarak tavsiye niteliğinde bir metodoloji dokümanı hazırlamanın uygun olacağını düşünmektedir.

Hedef 4: Ülkelerin okul düzeyinde dönüt verebilme talebini dikkate almak

PISA eğitim sistemleri düzeyinde nitelik, eşitlik ve verimlilik gibi temel çıktılara ilişkin karşılaştırılabilir veriler sunmaktadır. Bazı ülkeler ise PISA örneklemine dahil edilen okullara okul düzeyinde geri dönüt vermek istemekte, bu kapsamda çeşitli yöntemler geliştirmektedir. Ancak, PISA bulgularını okul düzeyinde geri dönüt vermek için kullanmanın önünde okul bazında öğrenci sayısının düşüklüğü, veri toplama ve verilerin paylaşılması arasında geçen zamanın uzunluğu, sınıf düzeyinde değil yaş bazında veri toplanması gibi bazı zorluklar bulunmaktadır. OECD, bu sorunların üstesinden gelmek için sonuçların genellenebilirliğini sağlayan yazılımlar geliştirmeyi ve okul düzeyinde rapor hazırlanabilmesi için taslak rapor formatları oluşturmayı çözüm olarak görmektedir.

Hedef 5: PISA’yı özel gereksinimli ve engelli öğrenciler için ulaşılabilir hale getirmek

PISA, ülke düzeyinde seçtiği örneklemlerde tüm 15 yaş grubu öğrencilerin temsil edilmesi için oldukça ciddi standartlara sahiptir. Ancak, teknik ve yöntemsel bazı zorluklar PISA’da özel gereksinimli ve engelli öğrencilerin temsiliyetini mümkün kılmamaktadır. OECD, teknolojik gelişmelerle birlikte özel gereksinimli öğrencilerin PISA örneklemine dahil edilebilmesinin daha olası hale geldiğini düşünmekte ve bu konuda özel gereksinimli öğrencileri diğer öğrencilere kıyasla daha avantajlı ya da dezavantajlı hale getirmeyecek şekilde ses dosyaları, kelime işlemcileri, yazılımlar geliştirilmesi gibi hazırlıklarını sürdürmektedir.

PISA’nın Ölçme Kapsamının Genişlemesi

PISA her döngüde okuma-yazma becerileri, matematik okuryazarlığı ve fen okuryazarlığı gibi temel alanların dışında bir de yenilikçi bir ölçme alanı belirlemektedir. Bu yenilikçi ölçme alanı problem çözme becerileri gibi bilişsel bir beceriye odaklanabildiği gibi öğrenme stratejilerine ilişkin öz-değerlendirme gibi bilişsel olmayan çıktıları da kapsayabilmektedir. PISA bu yenilikçi ölçme alanlarını belirleme sürecinde bazı kriterleri dikkate almaktadır. Ölçme alanının yeni bir alanda öngörü sağlayabilme potansiyeli bu kriterlerden biridir. PISA 2003’te yenilikçi ölçme alanı olarak belirlenen problem çözme becerilerinin PISA 2012’de bilgisayar ortamında bireysel problem çözme becerilerine, PISA 2015’te ise bilgisayar ortamında işbirlikli problem çözme becerilerine evrilmesi bu duruma bir örnek teşkil etmektedir.

PISA 2018 değerlendirmesinde yer alacak yenilikçi ölçme alanı “küresel yeterlik” olarak belirlenmiş, bununla ilgili kavramsal çerçeve oluşturulmuştur. OECD küresel yeterlik kavramını şöyle tanımlamaktadır:

“Küresel ve kültürlerarası meseleleri, eleştirel olarak ve birkaç farklı bakış açısından analiz etmek; farklılıkların, kişinin kendisi ve başkaları hakkındaki düşüncelerini, algılarını ve yargılarını nasıl etkilediğini anlamak; insanlık onuruna duyulan ortak saygıya dayanarak farklı kökenlerden gelen diğer insanlarla açık, uygun ve etkin iletişim kurmak”

OECD, yenilikçi ölçme alanlarını çeşitlendirerek eğitim sistemlerinin geleceği için önemli olan pek çok kavramın kapsamlı değerlendirilmesinin öncülüğünü yürütmeye devam etmektedir.

PISA’nın Araştırmaya Dahil Ettiği Ülkelerin ve Ekonomilerin Genişlemesi

OECD, Birleşmiş Milletlerin tematik istişareleri kapsamında geliştirilen 2030 eğitim çerçevesindeki sürdürülebilir eğitim hedeflerinin izlenmesi ve geliştirilmesi, özellikle dezavantajlı grupların öğrenme çıktılarına yönelik analizlerin gerçekleştirilmesi ve ülkelerin ulusal hedeflerine ulaşma sürecinin izlenmesi için daha çok ülkede PISA sonuçlarının kullanılmasını amaçlamaktadır. Bununla birlikte gelişmekte olan ülkelerde veri temelli politika belirleme süreçlerini desteklemek amacıyla 2013 yılında PISA for Development isimli projeyi başlatmıştır. Bu proje kapsamında OECD, PISA ölçüm araçlarının gelişmekte olan ülkelerin bağlamlarına uyarlanması çalışmalarına devam etmektedir. Proje kapsamında yer alan ülkeler Kamboçya, Guatemala, Panama, Senegal, Ekvador, Honduras, Paraguay ve Zambiya’dır. OECD bu projeyle etki alanını artırmayı ve daha çok ülkede eğitim politikalarına yön vermeyi hedeflemektedir.

Sonuç;

OECD, PISA’nın içerik ve uygulama süreciyle ilgili gerçekleştirdiği değişikliklerle, ölçme kapsamındaki alanları çeşitlendirmekle ve daha fazla ülkeyi sürecine dahil etmekle birlikte küresel çapta etkisini her geçen gün artırmaya devam etmektedir. Bu noktada PISA’ya yöneltilen eleştirileri hatırlamakta fayda görülmektedir.

PISA’ya yöneltilen eleştirilerin başında PISA’nın sosyo-politik arkaplanı gelmektedir. PISA’nın yürütücü kuruluşu OECD ekonomi temelli bir topluluktur. Sanılanın aksine OECD’nin kısaltmasında yer alan “E” harfi Eğitimi değil Ekonomiyi simgelemektedir. Yani OECD’nin önceliği küreselleşmeyle birlikte standartlaşan işgücü için standartları sağlayacak bireyler yetiştirilmesini sağlamaktır. OECD bakış açısıyla eğitimin ekonominin itici gücü olarak ele alınması, eğitimin temel amacının bireyleri istihdama hazırlamak olması gerektiği algısını beslemeye devam etmektedir.

PISA’ya yöneltilen bir diğer eleştiri ise eğitimin ölçülebilir boyutlarının dar bir aralığına vurgu yapmasıdır. Bir kısım akademisyen PISA’nın “odağı fiziksel, ahlaki, yurttaşlık ve sanatsal gelişim gibi eğitimin daha az ölçülebilir ya da ölçülemez hedeflerinden uzağa çektiğini, böylece eğitimin ne olduğu ve ne olması gerektiği ile ilgili kolektif tasavvurumuzu tehlikeli derecede kısıtladığını” ileri sürmektedir.

PISA’ya yöneltilen eleştiriler şüphesiz ki bunlarla sınırlı kalmamaktadır. Ancak, PISA’nın dönüşüm sürecinden de anlaşılacağı üzere OECD dünya çapında eğitim politikalarına yön verme gücünü artırmaya tüm hızıyla devam etmektedir. Bu noktada ülkeler böylesine zengin bir veri kaynağı sunan değerlendirmeden yararlanırken, eğitim sistemlerine yönelik atılacak her adımda ülke bağlamından da uzaklaşmamayı öncelik haline getirmelidir.

Kaynaklar

Breakspear, S. (2012). The policy impact of PISA: An exploration of the normative effects of international benchmarking in school system performance (OECD Education Working Papers, No. 71). Paris, France: OECD Publications

Breakspear, S. (2014). How does PISA shape education policy making? Why how we measure learning determines what counts in education. Seminar Series 240. Melbourne: Centre for Strategic Education.

OECD. (2014). Beyond PISA 2015: A Longer-Term Strategy Of PISA. Paris, France: OECD Publications

OECD. (2016a). Global Competency for an Inclusive World. Paris, France: OECD Publications

OECD. (2016b). PISA for Development Brochure. Paris, France: OECD Publications

OECD. (2017). PISA for Development – Documentation – Briefs. http://www.oecd.org/pisa/aboutpisa/pisafordevelopment-documentation-briefs.htm adresinden erişildi.

Sjøberg, S. (2015). PISA and global educational governance: A critique of the project, its uses and implications. Eurasia Journal of Mathematics, Science & Technology Education, 11(1), 111–127.

UNESCO. (2015). Education 2030 Incheon Declaration and Framework for Action: Towards inclusive and equitable quality education and lifelong learning for all. http://www.uis.unesco.org/Education/Documents/incheon-framework-for-action-en.pdf adresinden erişildi.

TEDMEM. (2014a). Akademisyenlerden PISA’ya Farklı Bir Bakış Açısı. https://tedmem.org/mem-notlari/akademisyenlerden-pisaya-farkli-bir-bakis-acisi adresinden erişildi.

TEDMEM. (2014b). PISA 2012 Türkiye Üzerine Değerlendirme ve Öneriler. Ankara: Türk Eğitim Derneği.