談學術狗屎

最近看到一篇有趣的文章,叫做Bullshit in the Sustainability and Transitions Literature: A Provocation,由於是Open Access,所以我把它下載放在下面。這個文章不只是題目有趣(或可以說是大膽),其實也點出了一個重要的議題,我們現在身邊充滿了垃圾文章,這其實不只造成環境的污染,而且也浪費了我們很多的時間(時間就是資源)。其實看看這篇文章,從提交到通過,竟然也花了半年的時間,所以我們來談談這一篇文章,並且想一想我們可以從這裡學到甚麼東西。

這一篇文章首先定義甚麼是學術狗屎(scholarly bullshit),而且認為有一個現象,就是大家為了追求熱門的題目(例如sustainability)而製造了大量的狗屎(我覺得用垃圾文章來體現)。這裡有幾個問題,因為是熱門題目,所以期刊歡迎。而為了發表文章,作者不介意發表大量的狗屎。在文中,作者把學術狗屎歸類為四大類,我們在下面文章可以看到,大概包括了:(1) boring research question; (2) literature review of literature reviews; (3) recycled research; (4) master thesis madness; and (5) activist rants,其實我覺得這四個歸類是不是合理,有沒有疏漏,都可以被挑戰。但是因為我大致上看起來也差不多,所以沒有仔細想要去挑戰他。直覺上有些東西是主觀的,但是我們先這樣接受他,後面我們在談怎樣建立屬於自己的垃圾分類系統。

Boring research question

基本上這裡講的是文章中試著做的研究別人已經做過了,作者只是改一個參數,或是一個對象,或是使用一個不一樣的方法。這類的文章我覺得大概只能算是"不是突破性的文章",要說學術垃圾可能有點牽強。這類的文章對於知識的累積還是有一點作用的,只是要很多這類的小文章才能累積出足夠的廣度來補足其他突破性文章的不足。所以我比較偏向於用小文章來形容他,而不是垃圾文章。其實我發現周遭許多學生與老師他們的研究問題非常的不重要(trivial),在當審查委員或是期刊編輯的時候也發現許多這樣的文章。對於一個有未來的學者,其實這樣的文章其實要少發。至於怎樣判斷研究問題是不是trivial呢?只要想一想你的文章的potential impact,我覺得長久來說才是好的。

Literature review of literature reviews

這種文章其實我覺得壓根就不應該出現。作者在想要寫一個文獻綜述的時候,本來就應該要想好他們為何要寫這樣的文章,然後有哪些是既有的文獻上不足的,他們來做進一步的分析。在這個情形下,其實是不應該再引用其他綜述文章的。我們可以讀大量的綜述文章,但是那些文章可以作為我們的骨幹,我們再繼續去看其他的文章。我覺得有這類的文章出現,其實是期刊Peer review的問題。這樣的文章被歸類為垃圾文章其實我覺得當之無愧。

Recycled research

該篇文章中討論的是某一個領域已經建立好的理論,直接用到一些熱門的新議題中。其實我對這樣的說法有點不認同。我基本上同意,把一個領域的方法應用到不一樣的領域其實是一個嘗試,雖然談不上是創新,但是很多知識的進步都是依靠這樣來的。我們一般在看問題與方法大概可以分成幾類。新問題搭配新方法,這是最好的狀況。新問題搭配舊方法,或是舊問題搭配新方法,這些雖然沒有到達突破的水準,但是我認為對於學術的進展也是有幫助的。總不能每一個人都想要作為突破的先驅,這也是不切實際的。最糟糕的是舊問題搭配舊方法,這就是很標準的recycled research,這在我眼中也算是一種學術狗屎,基本上根本就不應該被發表(如果審查過程嚴謹的話)。

Master thesis madness

這一點說的其實是很多老師為了要衝文章的數量,就用碩士生的論文去衝。寫出了很多品質低落的文章,然後投稿到一些作者認為品質不好的期刊去(作者用MDPI的Sustainability做例子)。這裡其實有兩個問題,第一個是真的問題,就是用大量的碩士論文去衝數量。其實碩士論文不代表學術水準低落,但是,因為僅是碩士論文,所以Scope是比較有限的。要注意的是很多人有一種錯誤的觀念(我以前也是一樣),認為兩三個碩士論文等於一個博士論文,其實那是錯的,因為知識的深度是不一樣的。在這樣的文化下,很多非常淺碟的文章就這樣問世了。其實我周遭也有不少同事利用碩士論文發表,而這些被發表的文章其實也是很明顯就是碩士論文的程度,所以其實這是一個普遍的現象。第二個問題其實是作者的偏見,如果這是一篇嚴謹的學術論文,而我又是審查委員,我會問他用甚麼依據判斷MDPI的Sustainability不是一個好期刊?他必須要先有嚴謹的研究方法來證明這件事情,但是我在猜這篇文章的審查委員大概也不太嚴格,所以就這樣過了。我不反對他舉的例子,但是當她說別人是鳥期刊的時候,我會要求他提出更多的分析,來證明這個期刊是鳥期刊。就像是,如果我只是口頭上說某個人士爛人,那許多人會覺得我跟她有私人恩怨,所以我特別需要提出很多證據與數據來證明那個人真的是爛人。

Activist rant

在這裡講的是,通篇文章只有熱情(就是你多喜歡或是多支持某一個領域),但是要知道,光有熱情沒有辦法支撐學術的進步。基於你自己的喜好所得到的論點如果沒有嚴謹的研究做為支撐,其實就是名副其實的垃圾。所以這一個類型也是造成很大的傷害。

對這篇文章的看法

這其實不是一個悠久的期刊,雖然出版社是Springer,但是這個期刊應該只有一兩年的歷史。我對這篇文章的看法是作者的立意良善(with good intention),但是方法其實並不嚴謹。就像我剛剛講的,他要說明某一個期刊是鳥期刊的時候,他沒有提出進一步的證明(就像是我要罵人是笨蛋,我應該要想辦法證明他真的是笨蛋)。另一個例子則是,他說現在跟Sustainability或是Circular Economy議題有關的文章,大概有一半(50%)是學術狗屎。在文章中,其實作者也承認在審查過程中審查委員曾經問過這一半的比例是怎麼出來的,他的回答是,他去找了這個領域裡面好的期刊,然後挑一百篇,算一算真的大概是一半左右。有幾個問題,第一,我怎麼知道你真的挑一百篇?這一百篇是怎麼挑出來的?第二,你怎麼知道一百篇就足夠了?為什麼不是分析一萬篇,這不是更有代表性?所以顯然,我覺得作者雖然立意良善,但是並不是認真的,而且也許期刊跟審查委員把這篇文章當成是發表意見的position paper。

給年輕學者的建議

其實不管是該篇文章作者所定義的學術狗屎還是我自己修改後定義的學術狗屎,這樣的文章在審查過程中都應該要被拒稿的。可惜的是因為大部分的人都不願意付出,尤其很多學者在成名之後都不願意再幫忙審稿(通常理由是太忙),導致很多期刊的審稿工作都落在年輕的博士後研究員或是相對比較沒有經驗的人身上。這樣的現象其實大大的影響了很多期刊的品質,也因為把關不嚴,很多不應該發表的文章都被發表出來了。對很多人來說這也許是好事,但是其實在我看來恰恰相反。作為一個年輕學者,文章不好的情況下,因為審查而被拒絕,其實是對你們的一種保護,避免鳥文章發出去了,日後後悔莫及。我的建議是,可以比較一下這幾個理由,然後比較一下我在課程中所講的內容(Why your papers are rejected?),你可能會發現一些雷同點。

對於自己研究的反思

對作者個觀點不認同不代表我們不用反省。看了這一篇文章以後,讓我想到有一次在學校的某個咖啡廳跟一個很資深的同事聊天,那時他問我有幾篇文章,我印象我那時候大概是五十左右,然後我很真誠(公開)的跟他說,我有一些小文章,但是也有一些大文章。每次要投出去之前其實我都知道這一篇應該是小文章還是大文章。我那時候也承認有些文章是上不了臺面的(我應該沒有用垃圾去形容),所以讀了這篇文章後我大概回到自己的Google Scholar數了一下,我大概有18-20%左右大概可以被我自己歸類為垃圾文章。另一個現象是,我發現我越早期的文章垃圾越多,那時候還一直覺得累積數量很重要,其實我沒有那些文章,我現在文章數量也不會少到哪裡去。只是,那個時間點深陷在環境中,其實自己是看不出來的。

大家不妨想一想或是算一算,你們有多少比例的文章是垃圾文章?


Kirchherr2022_Article_BullshitInTheSustainabilityAnd.pdf
Complete and Continue