記憶力低下などうつ症状の治療法を教えてください。

20代/男性 - 2016/05/11

適応障害と診断されました。しかし、症状としてはうつ病に近いと思います。無気力や不安感、興味の喪失、集中力の低下、記憶力の低下など。特に記憶力の低下が気になります。昨日何をしたのかはっきりと思い出せない、文章を読んでも頭に入らないなどしょっちゅうです。MRIをとってもらって脳には異常はないそうです。
睡眠時間は足りていると思うのですが、朝起きても頭がはっきりせず、寝たりない感じがします。
現在は通院はしていません。薬を貰ってもあまり効果がなかったように思ったからです。また、近くに信頼できる精神科がないのも理由のひとつです。
ちなみに今は祖母と二人暮らしです。祖母は高齢でボケも入っており、訛りも強く僕はあまり会話しません。だからかは分かりませんが、会話能力が著しく落ちたように感じます。話を聞く能力も。
また、この生活自体が相当なストレスになっていると思います。と言っても、他に頼れそうな人がいなくて本当に人生詰んでいると言う感覚です。
生きるためには仕事をしないといけない。いつまでも逃げるわけにはいかないのは分かっているんですが、今の状態で働ける自信がありません。また、これからどうすればいいのか分かりません。
自分にむち打ってバイトでも始めた方が良いのか、治療に専念をした方が良いのか分かりません。また、治療と言うのも寝て起きて、晴れた日はウォーキングをしてくらいしか出来ていないので、具体的にどうすればいいか教えていただけますでしょうか？
出来れば薬を使わない、自分で出来ることだとすごく助かります。