Hvordan fagfellevurdering fungerer i samfunnsvitenskapene

Fagfellevurdering, i det minste med hensikt, er måten redaktørene av akademiske tidsskrifter prøver å beholde kvaliteten på artikler i publikasjonene sine høyt og forsikrer (eller forsøker å forsikre) om at dårlig eller feilaktig bevissthet ikke blir publisert. Prosessen er knyttet opp mot politiske og økonomiske spørsmål som involverer tenure og lønnsskala, ved at en akademiker som deltar i fagfellevurderingsprosessen (enten som forfatter, redaktør eller anmelder) blir belønnet for at deltakelse i en økning i omdømme som kan føre til en økning i lønnsskala, snarere enn direkte betaling for tjenester gjengis.

Med andre ord, ingen av personene som er involvert i vurderingsprosessen blir betalt av det aktuelle tidsskriftet, med det eneste unntaket (kanskje) av en eller flere redaksjonelle assistenter. Forfatteren, redaktøren og anmelderne gjør alt dette for prestisje involvert i prosessen; de betales vanligvis av universitetet eller virksomheten som sysselsetter dem, og i mange tilfeller er den lønnen betinget av å få publisering i fagfellevurderte tidsskrifter. Redaksjonell hjelp ytes vanligvis delvis av redaktørens universitet og delvis av tidsskriftet.

Slik akademisk fagfellevurdering fungerer (i det minste i samfunnsvitenskapene), er at en lærd skriver en artikkel og sender den til en journal for gjennomgang. De redaktør leser den over og finner mellom tre og syv andre lærde å gjennomgå den.

Anmelderne som er valgt for å lese og kommentere den lærde artikkelen, blir valgt av redaktøren basert på deres rykte i det spesifikke feltet av artikkelen, eller om de er nevnt i bibliografi, eller hvis de personlig er kjent for redaktøren. Noen ganger antyder forfatteren av et manuskript noen anmeldere. Når en liste over anmeldere er trukket ut, fjerner redaktøren navnet på forfatteren fra manuskriptet og videresender en kopi til de valgte stotte hjertene. Så går tiden, mye tid, vanligvis mellom to uker og flere måneder.

Når anmelderne alle har returnert sine kommentarer (laget direkte på manuskriptet eller i et eget dokument), tar redaktøren en foreløpig beslutning om manuskriptet. Er det å bli akseptert som den er? (Dette er veldig sjelden.) Skal det aksepteres med endringer? (Dette er typisk.) Skal det avvises? (Denne siste saken er også ganske sjelden, avhengig av journal.) Redaktøren striper ut identiteten til anmelderne og sender kommentarene og hennes foreløpige beslutning om manuskriptet til forfatter.

Hvis manuskriptet ble akseptert med endringer, er det opp til forfatteren å gjøre endringer til redaktøren er fornøyd med at anmeldernes forbehold er oppfylt. Etter hvert, etter flere runder frem og tilbake, publiseres manuskriptet. Perioden fra innsending av et manuskript til publisering i et akademisk tidsskrift tar vanligvis alt fra seks måneder til over et år.

Problemer som ligger i systemet inkluderer tidssinken mellom innsending og publisering, og vanskeligheter med å skaffe anmeldelser som har tid og tilbøyelighet til å gi gjennomtenkt konstruktiv anmeldelser. Små sjalusier og fullverdige politiske meningsforskjeller er vanskelig å holde igjen i en prosess der ingen blir ansvarliggjort for et spesifikt sett med kommentarer til et bestemt manuskript, og hvor forfatteren ikke har noen evne til å korrespondere direkte med anmelderne. Det må imidlertid sies at mange hevder at anonymiteten til den blinde gjennomgangsprosessen gjør at en anmelder fritt kan oppgi hva han eller hun mener om et bestemt papir uten frykt for represalier.

Den spirende av internett i det første tiåret av det 21. århundre har gjort en stor forskjell i måten artikler publiseres på og gjort tilgjengelig: fagfellevurderingssystemet er ofte problematisk i disse tidsskriftene, for en rekke grunner. Åpne tilgangspublisering - der gratis utkast eller fullførte artikler blir publisert og gjort tilgjengelig for alle - er et fantastisk eksperiment som har hatt noen problemer med å komme i gang. I et 2013-papir i Vitenskap, John Bohannon beskrev hvordan han sendte inn 304 versjoner av en artikkel om et falskt vidundermedisin til tidsskrifter med åpen tilgang, over halvparten av disse ble akseptert.

I 2001, tidsskriftet Atferdsøkologi endret sitt fagfellevurderingssystem fra et som identifiserte forfatteren til anmeldere (men anmelderne forble anonym) til en helt blind, der både forfatteren og anmelderne er anonyme til hverandre. I en artikkel fra 2008 rapporterte Amber Budden og kollegene at statistikk som sammenligner artiklene som ble akseptert for publisering før og etter 2001 indikerte at betydelig flere kvinner har blitt publisert i BE siden den dobbeltblinde prosessen begynte. Tilsvarende økologiske tidsskrifter som bruker enkeltblindne anmeldelser i samme periode indikerer ikke en tilsvarende vekst i antall kvinnelige forfatterartikler, noe som førte forskere til å tro at prosessen med dobbeltblind gjennomgang kan hjelpe med 'glassloft' effekt.

• Bohannon, John. "Hvem er redd for fagfellevurderingen?" Science, vol. 342, gnr. 6154, American Association for the Advancement of Science (AAAS), okt. 2013, pp. 60–65.
• BUDDEN, A., et al. “Dobbeltblind gjennomgang favoriserer økt representasjon av kvinnelige forfattere.” Trends in Ecology & Evolution, vol. 23, gnr. 1, Elsevier BV, Jan. 2008, pp. 4–6.
• Carver, Martin. “Arkeologitidsskrifter, akademikere og åpen tilgang.” European Journal of Archeology, vol. 10, nei. 2–3, Cambridge University Press (CUP), 2007, pp. 135–48.
• Chilidis, Konstantinos. “Ny kunnskap kontra konsensus - en kritisk merknad om deres forhold basert på debatten om bruk av tønnehvelv i makedonske graver.” European Journal of Archeology, vol. 11, nei. 1, Cambridge University Press (CUP), 2007, pp. 75–103.
• Etkin, Adam. “En ny metode og metrisk for å evaluere fagfellevurderingsprosessen for akademiske tidsskrifter.” Publishing Research Quarterly, vol. 30, gnr. 1, Springer Science and Business Media LLC, des. 2013, pp. 23–38.
• Gould, Thomas H. P. “Future of Peer Review: Fire mulige alternativer for intethet.” Publishing Research Quarterly, vol. 28, gnr. 4, Springer Science and Business Media LLC, okt. 2012, pp. 285–93.
• Vanlandingham SL. Ekstraordinære eksempler på bedrag ved fagfellevurdering: Konveksjon av Dorenberg Skull Hoax og beslektet oppførsel. 13. verdens multikonferanse om systemikk, kybernetikk og informatikk: Internasjonalt symposium om fagfellevurdering. Orlando, Florida. 2009.
• Vesnic-Alujevic, Lucia. “Peer Review og Scientific Publishing i Times of Web 2.0.”Publishing Research Quarterly, vol. 30, gnr. 1, Springer Science and Business Media LLC, feb. 2014, pp. 39–49.
• Weiss, Brad. “Åpningstilgang: Publikasjoner, publisering og en vei til inkludering.” Kulturantropologi, vol. 29, gnr. 1, American Anthropological Association, Feb. 2014, pp. 1–2.