株の売買で利益が出た場合の税金について

株の売買をしています。口座は自動的に証券会社で税金が引かれる特定口座にて売買しているので、利益が出た分の税金は私が別途確定申告等して納める必要はありません。
楽で良いのですが1つ疑問があります。もしかして特定じゃなく一般口座で売買して確定申告した方が税金が安く上がるのでは?
実際にはどうなのでしょうか?それか、年収やどれだけ利益が出たか?にもよるのでしょうか?その場合何か金額のポイントなどあるのでしょうか?
例えば100万円以上株で利益が出た場合確定申告した方が得など・・・。そのような指針があるとありがたいです。
また、それとは逆で逆に申告した方が税金が多く取られるという場合もあるのか知りたいです。
ちなみに私の場合は年収400万、株の利益は毎年50万程度です。