在軍中當兵的歲月裡，他曾經偷偷的半寫生半繪午休中的老兵，心中除了同情這些國破離鄉來台悲慘遭遇的長者外，也捕繪那樣失根人生的寂寞。
退伍一段時間後，陳來興在台灣南部找到一所美麗的國中，一所充滿童年回憶的國中，但他不敢違逆母意，而進入彰化秀水國中教書，在為期七年的工藝教員的生涯裡，他是多麼的不快樂，像是一隻關在籠子裡的鳥，無法展翅高飛，最後，他決定辭去教職，不顧前途和一切。
1981年至1984年陳來興在台北過著流浪的生活，為了吃飯、生活、畫畫，到處打工、擺地攤…等，白天擠在台北街頭工作，晚下依賴藝術來轉移思家及貧窮的苦悶。
1994~2000年中間，他沒有開畫廊，卻轉入了文學創作，他撰寫畫評、散文、小說，在1997以一篇名為「BMW500一個戀物狂的獨白」獲獎。
2000年元月陳來興因高血壓腦溢血，導致腦部文字表達區的細胞受損，記憶力稍減，寫作不如往昔流暢、敏銳，在逐漸康復後曾說：「一天不畫畫比死還難過」，於是他又提起畫筆。