대구시 버스운행관리시스템(BMS) 장애관련 감사결과 발표

대구시 버스운행관리시스템(BMS) 장애관련 감사결과 발표
- S/W, H/W 적격심사 관련 공무원 수사의뢰, 팀장․과장 연대 문책 -
- 장애복구를 지연한 유지보수업체에 대해서는 지연배상금, 보호구역
관리를 소홀히 한 장비교체 업체에 대해서는 보안위약금 부과 -

 

 

대구시는 시내버스 정류소 버스정보안내기 표출 장애발생에 따른 특별 감사 결과 시스템 관리소홀, 작업규정 미준수, S/W 및 H/W구입 적격심사 부당처리 등 문제점을 밝혀내고, 관련 공무원과 BMS 시스템 유지관리 업체와 S/W 및 H/W 도입 낙찰업체에 대해 엄정하게 처벌함으로써 이를 바로 잡기로 하였음. 한, 감사를 통해 밝혀내지 못한 공무원과 업체와의 유착 의혹에 대해서는 사법기관에 수사 의뢰하기로 하였음

 

1. 대구시는 지난 5월 3일부터 6월 16일까지 BMS 장애발생 원인, 장비구매․설치 과정의 적정성 등에 대하여 중점 감사를 실시하였다.

❍ 이번 감사는 지난 2016년 4월 26일 부터 3일간 발생한 대구 시내버스 정류소 버스정보안내기의 표출 장애로 시민 불편을 초래하였을 뿐만 아니라, 언론 등에서 기본원칙 미준수, 시스템 교체 낙찰 업체와의 유착의혹 등을 제기한 데 따른 것이다.

❍ 장애발생 원인규명의 신뢰성을 높이기 위해 전산분야 내․외부 전문가 6명 감사 참여, 장애발생 전후의 시스템실 로그파일을 검색, BMS 센터의 CCTV 출입현황 분석 등 객관적이고 과학적인 증거를 기반으로 책임소재 확인 등 감사결과를 확정하였다.

 

2. 감사결과, BMS 시스템 관리를 소홀히 하고, S/W 및 H/W 구입 적격심사 과정에 부당한 업무추진 사실이 밝혀졌다.

❍ 이에 따라 관련 공무원 6명에 대해서는 엄중 문책하기로 하였다
    (직위해제 2, 중징계 1, 경징계 2, 대기발령 1, 훈계 2)

  ⇒ BMS 업무 담당과장 대기발령
     담당팀장(경징계 요구) 및 담당자(중징계 요구) 직위해제
     보안관리 담당자 훈계

  ⇒ 계약부서 실무담당자 경징계 요구, 담당팀장 훈계

❍ 사업예산 편성과정, 입찰, 낙찰자 결정 과정에서 업체와 유착 의혹이 있는 BMS 업무 담당자는 사법기관에 수사의뢰

❍ 장애 발생 후 4시간 이내에 복구하지 못한 유지보수 업체(3,900천 원)와 작업규정을 준수하지 않은 H/W 도입 낙찰업체(15,900천 원)에 대해서는 지연배상금 및 보안위약금 부과

 

 

3. 버스운행관리시스템(BMS : Bus Management System)은

❍ 위치검지(GPS) 기술과 무선통신망(WCDMA)을 기반으로 실시간 버스운행정보를 파악하여 버스의 현재 위치와 도착예정시간을 안내하는 등 운행관리를 개선한 대중교통 안내 시스템으로

❍ 우리시에서는 2006. 8. 23일 시스템을 구축한(사업비 58억) 사업이다.

 

4. 감사결과 장애발생의 주된 원인과 대책은

BMS 장애 발생의 주된 원인

❍ BMS 도입 시 응용S/W 설계를 하면서 현재와 같은 버스정류장 안내기(1,002대) 대수를 감안하지 않고 제작되어 응용S/W의 구조적 결함과

❍ 소프트웨어의 구조적 결함과 시스템 환경을 자세히 인지하지 못한 상태에서 신규 백업프로그램 설치작업 등 외부적 시스템 충격에 응용S/W가 처리 불능의 상태에 빠지는 결과가 발생한 것으로 추정

  ⇒ 복구時 정류소 서버#1, 서버#2를 포맷하여 오류정보를 완벽하게 파악하는 것이 불가능하므로 장애 원인을 확정하지 못함

 

□ 장애발생 前 장비교체 업체의 작업내용으로는

❍ 장애발생 전(2016. 4. 23. 14:00~24:00) 외부작업은 주운영 서버(DB#1, DB#2)에서 신규백업프로그램 설치작업(☆☆☆☆☆☆☆, ★★★★★)

❍ 장애발생 당일(2016. 4. 26. 13:30~16:00) 정류소서버#1 등에서 신규 백업 소프트웨어 설치 작업(★★★★★)

❍ 장애발생 당일(2016. 4. 26. 13:30~18:00) 매월 정기작업인 주운영서버(DB#1)에서 DB파티션 작업(▲▲▲▲▲)

 

□ BMS 장애의 복구는

❍ 정류소서버#1, 서버#2를 포맷하고(2016. 4. 28 14:00경, ■■■) 재설정   작업과 응용S/W 수신 버퍼 크기를 4Kb/s → 10Kb/s로 변경(2016. 4. 28. 15:00경, ▼▼▼▼)하고

❍ 주운영 서버(DB 서버#1, 서버#2)에서 버스운행정보(진입중 안내문구)를 저장하는 부분(기능)의 프로그램을 생략(차단)하여 재가동함으로써 정상복구

 

BMS 장애 발생의 직접적인(기술적)  원인

❍ 사고 이후 조속한 복구를 위해 정류소서버#1, 서버#2를 포맷하여 오류정보를 파악할 수 없는 상태에 있었으나

❍ 응용 S/W를 중심으로 재현해 본 결과 이번 장애발생의 직접적 원인은 두 가지의 복합적 원인으로 추정

 - 첫째는 정류소서버#1, 서버#2의 응용S/W 처리용량이 임계 한계점(4Kb/s)에 도달

  ※ 장애 발생 전에도 3%정도 미처리 되었지만 서비스는 정상이었음

 - 둘째는 정류소서버#1 백업설치 및 주운영 서버(DB 서버#1) 파티션 작업 시(외부충격)에 응용S/W의 한계치를 넘어서게 되어 데이터를 처리하지 못하는 상태(현상)에 빠져 장애가 발생 할 수 있음.

 

 

 

 BMS의 안정화 대책은

❍ (단기적으로는) 응용 S/W를 시급히 보완하여 버스운행정보가 과도(20Kb/s 이상)하게 전송되는 경우라도 데이터를 처리할 수 있도록 로직(작업수행 절차)을 개선

❍ (신규장비의 교체작업은) 시스템 교체효과를 극대화하기 위해 정류소서버#1, 서버#2 등 시스템 전반에 대한 응용 S/W 구조를 재설계한 후 시스템 병행교체작업 시행

❍ (중장기 안정화 대책은) BMS 시스템의 안정적인 운영과 지속적인 서비스 개선을 위해 시스템 상시 모니터링 실시

  ⇒ BMS 안정화를 위한 TF를 구성·운영(단장 : 정보화담당관)하여 장기  대책 마련

 

5. 의혹사항 확인결과 및 위법·부당사항

□  전산장비·프로그램 공급 낙찰업체와의 유착여부

❍ 계약 심사과정에서 입찰 참가업체가 포기서를 제출한 것은 적격 통과 점수인 85점에 미달되어 포기한 것으로 외압은 없었음을 확인

❍ 다만, 낙찰업체인 ㈜☆☆☆☆☆☆☆과 업무담당자와의 유착여부에 대해서는  2016년도 BMS 예산편성 과정 등에 참여시켜 BMS 사업 전반을 미리 이해할 수 있도록 하여 입찰시 유리한 여건을 조성해 주었으며,

 - 미들웨어 적격 심사시 유사실적으로 인정해 주지 않아야 할 실적을 인정해 주어 부적격 업체가 낙찰되었고

 - 전산장비 적격심사시 업체별로 품목별 평가 기준을 달리 적용하여 공정성에 대한 의혹이 있음

  ⇒ 담당직원의 전산장비·프로그램 공급 낙찰업체와의 유착의혹에 대해서는 수사의뢰 후 그 결과에 따라

  ⇒ 동 업체에 대해서는「청렴계약 이행서약서」에 의거 대구시에서 시행하는 입찰에 2년간 참가를 제한하고 계약 해지까지 검토

 

□ 장애발생 전 작업원칙 미준수 여부

❍ BMS의 프로그램 이관 및 작업은 시내버스 정시운행 시간이 아닌 23:30
  ～05:30까지 유지보수업체 입회하에 작업을 하여야 함에도

 - 2016. 4. 23은 12:00～익일 00:30까지 담당공무원 입회하였으나 서버 납품 관련 5개 업체 10명이 유지보수업체 입회 없이 작업을 하였고

 - 2016. 4. 24은 15:50～16:20까지 서버 납품 관련 1개 업체가 담당공무원 및 유지보수 업체의 입회 없이 작업을 하였으며

 - 장애발생일인 2016. 4. 26은 담당공무원 및 유지보수업체가 입회하였으나 버스 정시운행 시간인 10:30 부터 작업을 하였고 16:10에 장애 발생

 

□  BMS센터 시스템실(보안시설) 보안 및 유지보수 업체 관리 소홀

 ❍ 2016년 이후 BMS 시스템실 출입 관리대장 결재를 이행하지 않고, 장애 발생 전인 2016. 4. 23~25 시스템실(보안시설) 출입대장 작성 누락

 ❍ 유지보수용역 일일 근무 상황부를 매일 확인하지 않고 일주일 단위로 확인

 ❍ 특히, 작업에 참여한 엔지니어의 子(4세)가 3시간 30분 동안 BMS시스템실(보호구역)과 복도를 자유롭게 뛰어 다니도록 방치

 

□ 담당팀장의 BMS센터 관리소홀

 ❍ 우리시 방화벽 시스템에 직원들의 PC 접속현황 6개월간 보관

   - BMS를 총괄하는 담당팀장(통신 5급)이 2015. 11. 18부터 장애발생 전일인 2016. 4. 25까지 사무실별 PC 접속현황 조사결과

   - 시청별관 사무실에 75%, BMS 센터가 있는 지산동 사무실에서 25% 접속한 것으로 밝혀졌고

 ❍ BMS 센터에 보관되어 있는 CCTV를 2016. 4. 4～4.25까지 확인결과 1일 19분만 시스템실에 출입하여 시스템실 관리를 소홀히 한 것으로 밝혀졌음

6. 규정위반 업체에 대한 조치는

❍ BMS 시스템 장애에 따른 복구를 4시간 내에 이행하지 못하고 52시간 동안 복구를 지연한 유지보수업체에 대해서는「유지보수 용역 제안요청서」에 의거 지연배상금 3,900천 원 부과

❍ BMS 시스템실(보호구역)의 출입문을 장기간 개방해 놓은 채 작업을 진행하고 출입을 허가 받지 않은 어린이가 시스템실 안팎을 뛰어다니도록 방치한 장비교체업체에 대해서는「장비교체 시방서」에 의거 장비교체금액의 3%인 보안위약금 15,900천원 부과