Şu anda her işe alım kararının arkasındaki rahatsız edici soru şu: araçlar bu kadar iyiyken bir insan neyi katıyor. Muhakemenin yapay zekanın yerini alamadığı kısım olduğunu daha önce savunmuştuk; işe alım, o savın teorik olmaktan çıktığı yer. Bir model çoğu şeyin çalışan bir uygulamasını dakikalar içinde üretebiliyorsa, birine tam olarak ne için para ödüyorsun?
Bunu somut olarak cevaplamak zorunda kaldık, çünkü staj challenge'ları yapıyoruz ve kimin ilerleyeceğine karar vermemiz gerekiyor. AI çağında geliştirici nasıl işe alınır sorusu, sürecin kendisini değiştirdiğinden çok neye baktığımızı değiştirdi.
Cevabı bulmak neden artık bir beceri değil
Yetkinliğin eski göstergesi becerikliliktı: bu kişi bir çözümü bulup uyarlayabiliyor mu. Bu uzun süre gerçekten iyi bir filtreydi, çünkü çözümü bulmak zordu. Hangi aramayı yapacağını, hangi cevabın eskidiğini, hangi kütüphanenin terk edildiğini bilmek gerçek bir beceriydi.
O filtre artık bozuk, hem de az değil. Herkes, iyi tanımlanmış neredeyse her probleme yetkin görünen bir cevap getirebiliyor. Mülakatın bir adayın tanımlı bir görev için çalışan kod üretip üretemediğini ölçüyorsa, artık kimseyi ayırt etmeyen bir şeyi ölçüyorsun demektir, ve en yüksek puanı alanlar sadece prompt yazmakta en hızlı olanlar olabilir.
Bunun ürettiği başarısızlık biçimi çok belirgin ve bunu gördük: çalışan bir çözümü hızlıca teslim eden ama neden çalıştığını, hangi parçalarının taşıyıcı olduğunu ya da gereksinimler biraz değişse neyin kırılacağını söyleyemeyen biri. Kod geçiyor. Kişi onu sürdüremiyor.
Bunun yerine neyi ölçüyoruz
Araçları yasaklamak yerine challenge'ın biçimini değiştirdik. Adaylara yapay zeka kullanmamalarını söylemek hem denetlenemez hem de dürüst değil, çünkü iş öyle yürümüyor. Challenge'larımız her şeyi kullanacaklarını varsayıyor.
Brief bilerek eksik tanımlanmış. Gerçek kararları karara bağlamadan bırakıyoruz - bahsedilmemiş bir uç durum, iki türlü okunabilecek bir gereksinim. İzlediğimiz şey, adayın bu belirsizliği fark edip etmediği. En güçlüler hiçbir şey yazmadan önce sorularla geri dönüyor. En zayıflar bir yorumu sessizce seçip hiç bahsetmiyor, ki bu da bize bir seçim yapıldığını görmediklerini söylüyor.
Vermek zorunda olmadıkları bir kararı savunmalarını istiyoruz. Teslimden sonra çözümlerinden bir şey seçip neden öyle olduğunu ve alternatifin neye mal olacağını soruyoruz. O satırı kendilerinin yazıp yazmadığı önemli değil. Önemli olan, muhakemeyi yeniden kurabilmeleri. Teslim ettiğini anlayan biri bunu her zaman yapabiliyor. Çıktıyı kabul etmiş biri yapamıyor, ve fark iki soru içinde ortaya çıkıyor.
Konuşmanın ortasında gereksinimi değiştiriyoruz. Küçük, gerçekçi bir değişiklik - bir müşterinin cuma günü gönderdiği türden. Birinin kendi tasarımının neyi kolaylaştırdığı ya da zorlaştırdığı üzerine akıl yürütmesini izlemek, onu çalışırken izlemeye bulduğumuz en yakın şey.
Bunların hiçbiri kimseyi yakalamakla ilgili değil. Kodun bir üstündeki katmanı ölçmekle ilgili, çünkü asıl işe aldığımız şey o katman.
Bu neden uzun vadede daha iyi tutuyor
Çıktı yerine muhakemeyi ölçmenin pratik gerekçesi şu: muhakeme taşınıyor, spesifik bilgi taşınmıyor. Framework'ler değişiyor. Bugün kullandığımız araçlar üç yıl sonra ilkel görünecek. Güncel bir yığını bildiği için işe alınan birinin, yığın her değiştiğinde fiilen yeniden işe alınması gerekiyor.
Ödünleşimler üzerine iyi akıl yürüten biri bunların hepsinde faydalı kalıyor, çünkü iyi olduğu şey teknoloji değil. Bir problemin eksik tanımlandığını fark etmek, bariz cevabın ne zaman yanlış cevap olduğunu görmek, ve bir kararı başkasının verimli biçimde itiraz edebileceği kadar iyi açıklayabilmek.
Küçük bir ekipte katlanan bir etkisi de var. Dört kişinin her biri kötü bir gereksinimi ona göre inşa etmeden önce fark edeceğine güvenilebiliyorsa, ekibin tamamı her kararın tek bir kişiden geçtiği daha büyük bir ekipten hızlı ilerliyor. Bu da ancak işe alım kriteri muhakeme olduysa işliyor.
Kültüre ne yapıyor
Planlamadığımız yan etki, bunun neyi elediği. Tamamen tanımlanmış bir görev ve hiç belirsizlik isteyen insanlar challenge'ımızdan keyif almıyor ve erkenden kendileri ayrılıyor. Bu bazı bağlamlarda gerçek bir kayıp - pek çok iyi iş, iyi tanımlanmış iştir - ama bu ölçekte bir stüdyoda, birinin bir hafta boyunca bir probleme bakan tek kişi olabildiği yerde, problemin önceden çözülmüş olmasına ihtiyaç duyan biri sürekli tıkanır.
Geriye kalan, belirsiz bir brief'e varsayılan tepkisi tahmin etmek yerine sormak olan bir ekip. Bu bir işe alım sonucundan çok kültürel bir sonuç, ve ölçmeye değer şeyin hiçbir zaman birinin cevabı bulup bulamayacağı olmadığına karar vermekle başladı.