子どもの熱。解熱剤と受診のタイミングについて

乳幼児/男性 - 2020/07/27

1歳3ヶ月の子どもてす。
2週間前に鼻水がひどく、熱も38.6度まで上がり風邪との診断でした。
解熱剤と鼻水の薬をもらい、元気で食欲もあり水分も摂れていたため、鼻水の薬だけ飲ませ、解熱剤は飲ませず様子を見てました。
2日目には37度台に下がり、鼻水は1週間ほど続きましたが良くなりました。

数時間前に、子どもを触ると何か熱い？と思い脇で熱を測ると39.1度。
鼻水は奥にあるかな？程度で垂れてきたり、鼻詰まりはありません。咳もしていません。
2週間前にもらった解熱剤を飲ませようと、また測ると38.6度や38.3度。
測る度に熱が変わります。（2週間前の風邪の時も測る度に体温が変わっていました）
ちなみに、額で測る体温計では36.8度でした。
こんなに差ってあるものですか？
1回でも39度超えたため、ぐったりしていなくても解熱剤は飲ませたほうがいいですか？
ちなみに、朝昼ご飯は完食し、水分も摂れています。お昼ごはんの後はスイカも食べました。
朝寝が普段より少ない程度で普段とあまり変わらず過ごしていました。今は寝ています。

今日、病院に行ったほうがいいですか？