今日で2ヶ月になる乳児が昨日から熱があります。

乳幼児/女性 - 2024/09/16

昨日の午後いつもより起きていて寝ても浅く抱っこでないと起きてしまっていました。その間、頭まわりがいつもより熱い気がしましたが眠気によるものかと思っていました。ただそれがしばらく続いていたので検温したところ右37.9左37.5でした。
普段毎日はかっていたわけではないですが37度前半である事が多いです。
手足はそれなりにひんやりしています。

つい先程の検温では右38.1左37.7でした。
とりあえず眠れていて、寝付く前はさほど機嫌悪くありませんでした。
まだ小さいので自宅で様子を見るべきか救急外来で受診するべきかで迷っていました。祝日なので…
どのような対応をとったら良いでしょうか？もし様子をみるとしたら病院受診の目安も教えて頂きたいです。よろしかお願い致します。

余談
1週間前くらいから2才半の姉は風邪をひいています。私自身、おととい風邪症状はなかったものの一時的に発熱があり翌朝には下がるといったことがありました。
現在完全母乳で進めていました。
寝不足からくる疲れからか数日前に比べると母乳の出が悪いため、いつもより長めに飲んでもお腹いっぱいにならず眠れないのかとはじめ考えていましたが…