導讀:認識工作特點,確定目標、選擇指標、采集數(shù)據(jù),完善制度,開展評價。
對采取直接投資和資本金注入等形式開展的政府投資項目,開展項目后評價是對項目管理的要求。對政務信息化項目來說,績效評價是客觀衡量政務信息化系統(tǒng)建設完備程度和支撐履行政府職能實現(xiàn)程度的有效抓手,有助于量化評價政務信息化項目的應用效能和投資效益,引導促進政務信息化項目建設向以效能為導向、以服務為中心轉變,有助于形成績效評價與投資管理相互約束的聯(lián)動機制,對提升政務信息化項目建設和管理的整體水平,促進政府管理模式創(chuàng)新、建立效能型政府具有重要意義。
工作特點
政務信息化績效評價工作過程包括資料查看、訪談、概要方案設計、匯報會、方案設計、方案研討、方案發(fā)布、評估工作開展、工作結果運用等,暢享網(wǎng)分析既往案例,歸納出政務信息化績效評價工作的五個特點。
1、繼承性。政務信息化績效評價是實現(xiàn)政務信息化發(fā)展戰(zhàn)略的重要手段,其自身的工作開展也要與政務信息化發(fā)展戰(zhàn)略保持一致,更好地發(fā)揮“指揮棒”的作用。我國提出建設數(shù)字政府的發(fā)展戰(zhàn)略,政務信息化建設和管理更加強調服務導向、應用為本和突出實效,政務信息化績效評價的總體思路也要與之適應。
2、個性化。不同政府部門及其下屬機構及相關單位,互相間的權責結構和管理體系、信息化發(fā)展階段、預算方式有差異,通過信息化績效評價發(fā)現(xiàn)和推動解決的信息化管理問題不一樣。因此,政務信息化績效評價方案是個性化的。
3、目標性。明確信息化績效評價目標和評價結果用途,是開展信息化績效評價的第一步,然后圍繞目標設計工作方案。目標和用途經(jīng)常是多元的,如改進工作、費用結算、二次簽約、運維費保障、表彰先進、總結問題等,容易方向模糊和左右搖擺,帶來方案反復。因為經(jīng)常存在多個目標,應理清主要目標和次要目標之間的關系。
4、復雜性。信息化績效評價的評價對象有項目、系統(tǒng)、服務、單位等,互相間有聯(lián)系但并不一樣,開展評價所采用的指標和方法有很大區(qū)別,在同一單位的不同年份也是變化的。
5、動態(tài)性。政務信息化績效評價也可包括事中評價或中間跟蹤評價,這樣有利于及時了解、改正項目建設過程中出現(xiàn)的問題,減少信息化建設后期的偏差。績效評價結果并非一成不變的,不同階段的評價應根據(jù)采集到的最新數(shù)據(jù),對前期評價成果進行動態(tài)修正。
目標選擇
通常而言,績效評價的主要目的是為出資人或管理者保證資金合理使用和提高投資效益。通過績效評價,及時反饋評價信息,調整相關政策、計劃和進度,改進信息化管理,提高管理和決策水平。
根據(jù)暢享網(wǎng)為政務大數(shù)據(jù)管理部門、國資監(jiān)管機構、紀律檢查和審計監(jiān)督機構等開展信息化績效評價的實踐,政務信息化績效評價目標可以歸納為7個方面:滿足財政部門和信息化資金管理部門對政務信息化資金的績效考核要求,評價項目管理和資金管理水平;為系統(tǒng)運維、升級、分期建設等后續(xù)資金審核提供依據(jù);挖掘優(yōu)秀,表彰先進,營造環(huán)境;摸清底數(shù),總結發(fā)現(xiàn)典型問題,改進優(yōu)化工作;評估被管理單位的信息化水平,作為單位考核的一部分;管理考核供應商,為費用結算、續(xù)簽約等提供依據(jù);促進公共能力的建設和使用,提高系統(tǒng)整合水平和用戶體驗。
具體開展工作時,應選擇確定目標。對于不同目標,所采用的指標、所設計的工作開展流程,是不一樣的。評價報告通常包括評價對象的概況或過程回顧、評價總體結果、各分指標的評價結果和分析、經(jīng)驗或問題總結分析、對策與建議等部分??刹捎每倛蟾婧头謭蟾娼Y合的方式。應根據(jù)評價目標和現(xiàn)實情況,靈活選擇使用排名制或等第制。發(fā)布最終結果前,可以與相關人員進行溝通,如被評價單位、主管領導等。評價結果和形式的選擇,應與組織的文化相匹配。
指標設計
政務信息化績效評價指標的設計,應圍繞著評價的目標、對象、評價結果用途來開展。根據(jù)不同目的,選擇不同類型指標,設定不同權重。根據(jù)發(fā)改委指南,項目績效評價指標通常分為財務和經(jīng)濟評價指標、技術評價指標、效益評價指標、目標和可持續(xù)評價指標等類型。設計具體指標時要重視分級分類,可采用共性指標和個性指標相結合的方式。
以效益評價指標為例,在評價對象為系統(tǒng)時,共性指標通常包括功能可用情況、系統(tǒng)安全情況、運行穩(wěn)定情況等。但僅這些共性指標無法完整貼切地反映該系統(tǒng)的成效。要考慮個性化指標,如社會服務類系統(tǒng)的辦件率、在線辦件程度等,門戶網(wǎng)站類系統(tǒng)的網(wǎng)頁訪問量、內容發(fā)布規(guī)范情況等,公共支撐類系統(tǒng)的公共能力調用次數(shù)、支撐項目數(shù)等,綜合辦公類系統(tǒng)的用戶使用頻率、流程執(zhí)行情況等,指揮管理類系統(tǒng)的是應急指揮次數(shù)、指揮效率等,這些指標對于該類信息系統(tǒng)的效益評價也很重要。
根據(jù)暢享網(wǎng)經(jīng)驗,關注資金管理時,可選擇資金使用、項目管理、目標完成度、項目效益效果等指標。關注系統(tǒng)運維、升級、分期建設等后續(xù)資金審核時,可選擇功能使用度、用戶滿意度、業(yè)務支撐度、運行穩(wěn)定度等系統(tǒng)評價指標,以及數(shù)據(jù)共享、公共能力建設等指標。如果目標是挖掘優(yōu)秀,表彰先進,營造環(huán)境,評價價指標包括系統(tǒng)成效、用戶滿意度、對數(shù)字政府的貢獻、可推廣性等。關注摸清底數(shù)、總結發(fā)現(xiàn)典型問題、改進優(yōu)化工作時,可以選擇系統(tǒng)功能深度、用戶范圍、集成整合、用戶滿意度等指標。關注被管理單位信息化水平評價和考核時,指標可包括組織和制度建設、資金投入、應用和數(shù)據(jù)建設、安全、運維體系等方面。如果是管理考核供應商,為費用結算、續(xù)簽約等提供依據(jù),指標通常包括合同完成情況、服務內容價格合理度、工作規(guī)范情況、用戶滿意度等。如果促進公共能力的建設和使用,提高系統(tǒng)整合水平和用戶體驗,評價指標有系統(tǒng)整合、接入門戶、能力復用、數(shù)據(jù)入庫等。
設計指標時,應考慮ICT的基本架構中資源層、應用層、運營層的不同定位特點,考慮信息化公共支撐、統(tǒng)建應用、專業(yè)部門應用的責權關系,考慮面向公眾和企業(yè)的應用、面向政府內部管理應用的不同要求,考慮大中小應用的不同特點。不同發(fā)展條件和投入水平的單位也可能有公平訴求。在當前熱點方面,指標應反映信息化管理的導向,包括管理重點、政策和趨勢,如系統(tǒng)整合、門戶接入、能力復用、數(shù)據(jù)共享等,以充分發(fā)揮績效評價的指揮棒作用。
數(shù)據(jù)采集
績效評價是對現(xiàn)實情況和結果進行分析研究。政務信息化績效評價應基于客觀數(shù)據(jù),定量和定性相結合,以定量為主,依據(jù)的數(shù)據(jù)資料是信息化建設實際發(fā)生的真實數(shù)據(jù)和真實情況,對將來的預測也是以評價時的現(xiàn)實情況為基礎。因此,績效評價依據(jù)的有關資料,數(shù)據(jù)的采集、提供、取舍都要堅持實事求是、客觀評價,避免評價結果偏差甚至錯誤。
根據(jù)暢享網(wǎng)實踐經(jīng)驗來看,績效評價的數(shù)據(jù)來源有文檔、系統(tǒng)、用戶、供應商、專家等,主要是項目文檔、國家標準和行業(yè)規(guī)范、供應商材料、建設單位自評價、系統(tǒng)走查、用戶調查、專家意見等。其中項目文檔包括決策階段文檔、準備階段文檔、實施階段文檔和運營階段文檔。項目決策階段的主要文件有項目可行性研究報告、資金申請報告或備案文件、相關主管部門審批文件等。準備階段文件有需求文檔、招標書、投標書、合同等。項目實施階段的主要文件有技術文檔、需求變更單、監(jiān)理資料、驗收文件等。項目運營階段的主要文件包括系統(tǒng)運營數(shù)據(jù)、用戶服務記錄、設備運行指標及維護記錄、運營管理相關制度、技術改造情況等。
數(shù)據(jù)采集時,采用查閱、模版填寫、調研、訪談、座談、評審等方式。常用分析方法有邏輯框架法、加權平均法、對比法、層次分析法、因果分析法等,各評價方法之間不是排他和相抵觸的,可以在績效評價工作中綜合選擇使用。
制度保障
政務信息化績效評價需要機制和制度的保障,才能名正言順,健康開展。暢享網(wǎng)總結,一般應建立健全如下機制:
1、管理機制。評價是績效管理中的一個環(huán)節(jié),并非單純?yōu)榱伺琶且龑д招畔⒒ㄔO。保障績效評價真正對政務信息化發(fā)揮積極作用,發(fā)揮“指揮棒”作用,就需要建立政務信息化績效評價管理機制,對政務信息化績效評價進行有效的監(jiān)控和管理,在過程中糾偏揚長,促進實現(xiàn)績效管理目標。
2、協(xié)作機制。政務信息化績效評價是一個專業(yè)性較強且需要多方參與的工作,需要各方面的資源支持和相互配合。政務信息化績效評價不是一個單位就能夠單獨完成的,通常涉及建設單位、信息管理部門、財政部門、用戶單位、承建商等,需要建立相應的協(xié)作機制。
3、匯報機制??冃гu價工作方案和指標設計,因其綜合性、復雜性、針對性、實踐性,應逐步迭代完善。充分征集相關方意見,階段性請相關領導參與,聽取匯報,確認方向,減少反復,保障進度和質量。
4、反饋機制。將評價結果反饋到?jīng)Q策部門、出資人、主管部門、執(zhí)行部門等部門,是績效評價的關鍵環(huán)節(jié)之一。結果反饋的形式主要包括書面文件、成果反饋討論會、內部培訓和研討、專門信息系統(tǒng)等。其中書面文件是較為重要的產(chǎn)出物。通過反饋機制使評價總結出來的經(jīng)驗得到推廣、教訓得以吸收,使項目更加完善,提高項目可持續(xù)發(fā)展能力。