キーボードの右側の数字の上にある家の形をしたもののランプが消えなくて困ってます

「Scroll Lock」でしょうか？
「Scroll Lock」キーもしくは「ScrLk」を押してください。
「Scroll Lock」キーがない場合は
下記URLを参考に
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1153940496
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1136772456
http://pyon-petanko.blog.so-net.ne.jp/2014-01-16

こんなサイトも
[lenovo] 画面右下のNumLock, CapsLockが消えない
http://amidagamine.com/notes/2269

lenovoのサイトには
https://support.lenovo.com/jp/ja/documents/ht002122

キーボードのインジケータは、一般的に3つあります。

(1)[Num Lock] あるいは [1] などのアイコン
テンキー部分で数字が打てるものです。テンキー付きキーボードでは通常点灯、
ノートPCなどでフルキー部分に数字が書いてあるものでは通常消灯です。
NumLock キーで切り替えできます。

(2)[Caps Lock] あるいは[A]、[↑]のアイコン
通常はアルファベットキーを押すと小文字が入力されますが、CapsLock状態ではアルファベットの大文字が入ります(ずっとシフトキーが押された状態)。ただし記号類の入力には通常通りシフトキーによる切り替えが必要になります。
[Shift]キーを押しながら[英数]キーを押すことで、切り替えできます。

(3)[Scroll Lock] あるいは [↑↓]、[_↓_] などのアイコン
カーソルキーでスクロールできるようになる機能を切り替えます(一部アプリで対応)。
ScrollLock キーで切り替えできます。
※キーボードによっては「ScrLk」などの略称表示になっている場合があります。
※キー上の「ScrLk」の刻印が通常のキー文字とは違う色の場合、[Fn]キーを押しながらその刻印のキーを押す、と言う場合があります。

----

家の形に見えるということは、たぶん上向き矢印のことで2番目の Caps Lock でしょうか?
そうだとすれば、[Shift]+[英数]キーで戻せると思います。
でもランプが3つ並んでいるうちの一番右は、ふつう「Scroll Lock」の表示なんですけどね…。
上記の切り替え操作、全部やってみて、いずれかで反応あるでしょうか。